研究称:英特尔Gaudi2技术在大语言模型推理方面媲美英伟达AI加速器
划重点:
- 📌 研究显示,英特尔的 Gaudi2技术在大规模语言模型推理方面与英伟达的 AI 加速器相媲美。
- 📌 Gaudi2的推理性能在解码方面与英伟达 H100系统相当,并且优于英伟达 A100。
- 📌 根据公共云定价,Gaudi2在训练和推理方面的性价比都超过了英伟达的 A100和 H100。
根据 Databricks 的最新研究,英特尔的 Gaudi2技术在大规模语言模型推理方面与业界领先的英伟达 AI 加速器相媲美。该研究发现,Gaudi2在解码方面的延迟与英伟达 H100系统相当,并且优于英伟达 A100。研究还发现,Gaudi2的推理性能比 H100和 A100实现了更高的内存带宽利用率。
不过,英伟达在顶级加速器的训练性能上仍然更强大。研究人员使用 Databricks 的 MosaicML LLM 工厂进行训练,发现 Gaudi2在单节点 LLM 训练性能方面仅次于英伟达 H100,达到了每芯片超过260TFLOPS 的性能。总体而言,根据公共云定价,Databricks 的研究报告显示,与 A100和 H100相比,Gaudi2在训练和推理方面具有最佳的性价比。
英特尔通过 MLcommons MLperf 基准测试来提供有关 Gaudi2训练和推理性能的自己的测试结果。Databricks 的新数据进一步验证了英特尔的 Gaudi 技术在性能方面的表现,这是来自第三方的验证。
英特尔在2019年以20亿美元收购了 AI 芯片初创公司 Habana Labs 及其 Gaudi 技术,并在此后几年中不断改进这项技术。厂商们通过参与行业标准基准测试来证明性能。无论是英伟达还是英特尔都经常参与 MLcommons MLPerf 的训练和推理基准测试,这些基准测试每年更新多次。在去年11月发布的最新的 MLPerf3.1训练基准测试中,英伟达和英特尔都声称刷新了 LLM 训练速度记录。几个月前的去年9月,也发布了 MLPerf3.1推理基准测试,英伟达和英特尔在该测试中也表现出了强劲的竞争性能。
虽然像 MLPerf 和 Databricks 的研究报告这样的基准测试非常有价值,但 Medina 指出,许多客户依靠自己的测试来确保硬件和软件堆栈适用于特定的模型和用例。他表示,软件堆栈的成熟度非常重要,因为人们对基准测试组织存在怀疑,厂商会对其进行优化以满足特定的基准测试要求。
据 Medina 介绍,MLPerf 是有其一定作用的,因为人们知道要提交结果,技术堆栈需要达到一定的成熟度水平。但他强调,客户不会依靠 MLPerf 的结果来做出业务决策。“MLPerf 的结果只是组织在进行测试之前使用的成熟度过滤器”,Medina 说道。
就在准备于2024年推出 Gaudi3AI 加速器技术之际,有关 Gaudi2的新数据也发布出来了。Gaudi2是采用7纳米工艺开发的,而 Gaudi3基于5纳米工艺,并将提供4倍的处理能力和双倍的网络带宽。Medina 表示,Gaudi3将于2024年发布并开始大规模生产。“Gaudi3是一个将 Gaudi2的性能优势发挥到极致的产品,它在性能上有了巨大的飞跃,从而在性价比和性能功耗比方面带来了优势。”
英特尔正在致力于将公司的高性能计算和 AI 加速器技术融合在一起。英特尔也继续看好其用于 AI 推理工作负载的 CPU 技术。英特尔最近宣布推出带有 AI 加速功能的第五代 Xeon 处理器。
“CPU 在推理中仍然占有相当大的比例,甚至微调在 CPU 上也可能有优势”,Medina 说道。“CPU 参与数据准备,并且当 AI 的计算密度极高时,它们与 Gaudi 加速器一起提供解决方案。因此,我们的总体策略是提供一系列解决方案。”
多语言文档OCR工具包Surya 实现准确的逐行文本检测和识别
Surya是一个多语言文档OCR工具包,它能够实现准确的逐行文本检测和识别。逐行文本检测功能可以自动识别文档中每一行文字的位置。项目地址:https://top.aibase.com/tool/surya此外,Surya还具有文本识别功能,可以读取并转换文档上的文字,即将图片上的文字变成可以编辑的文本,这一功能即将推出。站长网2024-01-15 13:42:070001ChatGPT可以使用DALL·E 3啦!OpenAI还开放了论文
10月20日凌晨,OpenAI在官网宣布,现在所有ChatGPTplus和企业版用户,可以使用最新的文生图模型DALL·E3。DALL·E3是OpenAI在今年9月21日发布的最新产品,用户通过文本问答方式就能生成二次元、平面、创意、朋克、3D等多种类型的图片,例如,生成一个在火星奔跑的兔子,荒漠,废土风格,漫天风沙。站长网2023-10-20 09:16:130000去不起直播间的国货们,在泼天流量里“捡粉丝”
最高端的商战,往往以最质朴的形式出现。李佳琦不恰当言论事件之后,关于79元买眉笔到底贵不贵这件事的议论范围越来越大,消费者们开始重新探索究竟用79元能买到哪些东西。风波当中,蜂花、莲花、鸿星尔克纷纷推出79元的产品套组,一度卖到断货。在强烈的对比之下,0.07g的眉笔与真正便宜又大碗的老牌国货之间,消费者已经做出了自己的选择。站长网2023-09-15 18:29:450000亚马逊承诺在 2025 年前为 200 万人提供免费的人工智能技能培训
在人工智能(AI)成为我们这一代最具变革性的技术的背景下,亚马逊宣布推出名为「AIReady」的新承诺,旨在到2025年为全球200万人提供免费的AI技能培训,以解锁AI的全部潜力,应对世界上最具挑战性的问题。站长网2023-11-21 09:20:560000中国移动APP启动华为鸿蒙原生应用开发
据@HarmonyOS官微消息,拥有超过3亿用户的中国移动APP已正式宣布基于HarmonyOSNEXT启动鸿蒙原生应用及服务开发。这一合作将充分发挥HarmonyOS系统的分布式技术优势,实现中国移动APP在手机、平板等多种终端之间的无缝流转,从而建立起多渠道的用户触达矩阵。0000