亚马逊的 Trainium2 AI 芯片配备 96GB HBM,训练性能提高四倍
本周,亚马逊网络服务(AWS)推出了其新的人工智能(AI)加速器芯片 Trainium2,相比其前身,它显著提升了性能,使 AWS 能够训练具有高达数万亿参数的基础模型(FMs)和大型语言模型(LLMs)。此外,AWS 还为自己设定了一个宏伟目标,即使其客户能够为他们的工作负载访问高达 65 'AI' ExaFLOPS 的性能。

AWS Trainium2 是亚马逊第二代加速器,专为 FMs 和 LLMs 训练而设计。与原始 Trainium 相比,它的训练性能提高了四倍,每瓦性能提高了两倍,内存增加了三倍,总共为 96GB HBM。该芯片由亚马逊的 Annapurna Labs 设计,是一个多瓦片系统级封装,包含两个计算瓦片、四个 HBM 内存堆栈和两个目前用途未公开的芯片。
亚马逊并未披露 Trainium2 的具体性能数据,但表示其 Trn2 实例可以扩展到多达 100,000 个 Trainium2 芯片,以实现 AI 工作负载的低精度计算性能高达 65 ExaFLOPS。这意味着单个 Trainium2 加速器的性能约为 650 TFLOPS。65 EFLOPS 是预计只能在即将上市的高性能 AI 超级计算机,如 Jupiter 上实现的水平。这样的扩展应该会将 3000 亿参数大型语言模型的训练时间从数月缩短到数周。
亚马逊尚未披露 Trainium2 的完整规格,但如果它没有在原始 Trainium 已支持的基础上添加一些功能,我们会感到惊讶。需要提醒的是,该协处理器支持 FP32、TF32、BF16、FP16、UINT8 和可配置的 FP8 数据格式,并提供高达 190 TFLOPS 的 FP16/BF16 计算性能。
或许比单个 AWS Trainium2 加速器的纯性能数据更重要的是,亚马逊有合作伙伴,如 Anthropic,已准备好部署它。
Anthropic 的联合创始人 Tom Brown 表示:「我们正在与 AWS 紧密合作,使用 Trainium 芯片开发我们未来的基础模型。Trainium2 将帮助我们在非常大的规模上构建和训练模型,我们预计它将比第一代 Trainium 芯片在一些关键工作负载上至少快 4 倍。我们与 AWS 的合作将帮助各种规模的组织解锁新的可能性,因为它们使用 Anthropic 的最先进 AI 系统与 AWS 的安全可靠云技术结合。」
马斯克X平台与Midjourney正商谈合作 致力于生成式AI项目
**划重点:**1.🌐ElonMusk的X平台与Midjourney,Inc据称正在商谈合作,可能致力于开发生成式人工智能相关项目。2.🧠合作可能涉及在选举前识别X平台上的GenAI内容,以推动人工智能技术的应用。3.🤖Midjourney公司的生成式AI程序类似于其他项目,如OpenAI的DALL-E和StabilityAI的StableDiffusion。站长网2024-02-21 10:29:250000商汤科技与南方电网合作 推动电力行业AI大模型训练与应用
近日,商汤科技与南方电网数字电网集团有限公司签署战略合作协议。双方将发挥各自领域的技术和产业资源优势,共同推动电力行业AI大模型训练与应用、算力建设、标准建设、产业转化和市场拓展,加快推动电力行业的人工智能创新及应用,加速行业智能化升级。图源备注:图片由AI生成,图片授权服务商Midjourney站长网2023-10-20 17:01:400000黑客发布破解版ChatGPT “Godmode GPT”
划重点:-黑客发布了破解版的ChatGPT,名为"GODMODEGPT"-该版本绕过了OpenAI的限制,允许用户进行非法的咨询-OpenAI已采取行动,但这表明黑客们继续努力绕过AI模型的限制站长网2024-05-30 12:50:110002618大促将至,数码产品价格“大跳水”,推荐这几款骁龙8 手机
尽管目前骁龙8Gen2的表现备受大家好评,成为2023年众多高端手机的标配芯片,但其相对比较高昂的价格属实不大适合普通消费者。倘若不需要追求极致性能,去年下半年发布的骁龙8也是个不错选择,它采用了台积电4nm制程工艺,并且安兔兔跑分与骁龙8Gen2只相差20万,因此,在日常使用中,二者流畅性差距非常小。站长网2023-05-24 08:22:5900004月,国内大模型遍地开花
ChatGPT的火热掀起了国内外对大模型的探索热情,即便是一边呼吁暂停AI研究以防“失控的人工智能”的马斯克,近期也被曝正在推特内部启动人工智能项目。不管是差GPT“2个月”还是“3年”,国内大模型一夜之间已经遍地开花。继百度打响国内大模型第一枪后,目前阿里、京东、华为等互联网大厂,商汤、昆仑万维等科技公司也纷纷推出了自家的大模型,包括内容平台知乎也在4月13日推出了中文大模型“知海图AI”。0000