英伟达展示 Hopper 超级计算机,Intel Gaudi2 的性价比是 H100 的 4 倍
在最新一轮 MLPerf 训练 v3.1 的结果中,尽管大部分成绩并不激动人心,但两个结果引人注目。首先,NVIDIA (英伟达)使用 MLPerf 来展示其最新的霍珀(Hopper)一代超级计算机。其次,非常少见的是,英特尔和 NVIDIA 都在宣传英特尔 Gaudi 2 加速器在价格/性能方面的出色表现。

在封闭部门和开放部门之间,共有 209 个结果跑过 83 种不同的配置。开放部门仅提交了两种配置,每种配置只有一个不同的结果。MLPerf 训练 v3.1 有九个测试,所以平均每个提交配置的基准测试完成率只有约 27%。209 个结果中只有 14 个不是 NVIDIA 的 GPU。其中六个是英特尔展示了其 Xeon Sapphire Rapids 在 AI 中的性能,为行业 CPU 性能设定了基线。
第一个重要的信息是,NVIDIA 正在展示其新的超级计算机。这台被称为 NVIDIA Eos 的系统配备了 10,752 个 H100 GPU,通过 400Gbps Quantum-2 InfiniBand 连接。从某种角度看,如果一家公司要在开放市场上购买这样的系统,其价格很可能超过 4 亿美元。
有了这台庞大的超级计算机,NVIDIA 在 MLPerf 训练套件中赢得了不同 GPU 数量的胜利。它甚至与运行 10,752 NVIDIA H100 GPUs 的 Microsoft Azure 云服务相匹配。
一般来说,提交 MLPerf 训练结果的其他公司如此之少,以至于 NVIDIA 不得不制作一个总结幻灯片,显示很少有其他公司使用其 MLPerf 训练套件。从 AMD 的财报中可以知道,它正在出货 MI300 变体,这将是 MLPerf 的「商业可用」产品。我们还知道,像 Cerebras 这样的公司没有 MLPerf 就售出了价值 10 亿美元以上的晶圆规模集群。MLPerf 推理通常非常适合供应商之间的比较。MLPerf 训练已经失去了这一点,除了一个例外。
查看 Stable Diffusion 测试,人们可能会看到 NVIDIA 的速度大约是英特尔 Gaudi2 的 8 倍。然而,当我们了解细节时,NVIDIA 使用的 H100 GPU 数量是英特尔的 16 倍才能达到这种速度提升。把这个放在一个视角中,我们预期的是,要快 8 倍,成本会超过 32 倍。换句话说,NVIDIA 的营销幻灯片在这里显示,与 NVIDIA 相比,英特尔在每美元性能方面的表现介于相当接近和 4 倍之间(约 8 倍的性能,约 32 倍的成本)。
在 64 个加速器的直接比较中,NVIDIA 大约快两倍。这对英特尔来说是一个很好的结果,因为它使用的加速器成本不到 NVIDIA 对手的一半,而且系统架构要简单得多。
NVIDIA 在调整 H100 方面比英特尔在 Gaudi2 方面更进一步,但此次 MLPerf 的重大进展是支持 FP8,这导致了约 2 倍的性能提升。
英特尔现在有了一个有趣的玩法。Gaudi2 的表现似乎介于 A100 和 H100 之间,但从了解的情况来看,它的成本不到 NVIDIA的 H100 部分的一半,如果考虑到整个系统成本,可能会更低。
英特尔 Gaudi2 获得了足够的关注,以至于供应受限,但没有 H100 那么严重。
除了 NVIDIA 之外,大部分行业都放弃了 MLPerf 训练,只剩下一些英特尔的结果和一个 Google 的结果。NVIDIA H100 SXM5 是当今的大型 GPU,很少有使用 MLPerf 挑战它的。只有少数公司能够将其硬件和软件扩展到超过 1000 个加速器,所以在顶端,竞争并不激烈。如果您六个月后想要 10000 个加速器,那么您很可能是在购买 NVIDIA H100 SXM5 系统。
拥有 NVIDIA Eos 超级计算机,NVIDIA 拥有一台内部价值超过 4 亿美元的机器。目前,可能没有其他任何公司能够在这一点上与之匹敌。当然,这是零售价值,不是 NVIDIA 支付自己部件的价格,但这是一台大机器。
NVIDIA 争夺规模的有趣结果是,它展示了英特尔的 Gaudi 2 可以以四倍的性价比提供 Stable Diffusion 性能。NVIDIA 试图展示它在图表上有一个更长的条形图,但在争取更长条形图的比赛中,它失去了规模效率,给了英特尔一个大胜利。
以搜索增强对抗幻觉,百川智能拿出了实现大模型商业化的最后一块拼图
12月19日,百川智能宣布开放基于搜索增强的Baichuan2-Turbo系列API,包含Baichuan2-Turbo-192K及Baichuan2-Turbo。这是9月末Baichuan2-53B第一次向外界打开API之后,百川智能在B端的进一步动作。0001月入25万,批量AI美女,收割中年男人的钱包
号称“最难被电商撬动”的中年男人们,拜倒在了AI美女们的石榴裙下。“中年男人不如狗”这句话,一直被视为是中年男性在消费鄙视链里的真实写照。爱捯饬的女人买化妆品、买衣服,居家的女人买厨具、买食物,但一提到男人,似乎就是“保温杯里泡枸杞”或者“一把钓杆打天下”。而在内容平台上,一批面容姣好,身材傲人的AI美女达人,却把炯炯目光对准了一向备受忽视的中年男人们。站长网2024-03-22 16:38:010000华中科技大学开源多模态大模型Monkey
要点:1、Monkey是一种高性能多模态大模型,可在复杂场景和视觉细节处理方面提供出色的性能。2、Monkey无需从0预训练,可以基于现有视觉编辑器进行构建,将大模型的输入分辨率能力提高到896x1344像素。3、Monkey采用多级描述生成方法,可以为模型提供丰富的上下文信息,以指导模型学习场景和对象之间的关联。站长网2023-12-09 09:51:310002独家|美团上线商圈功能,外卖供给侧再推新品
Tech星球独家获悉,于去年下半年内测的主打“多店搭配买,骑手一起送”的商圈功能,已经于近期在北京、深圳、长沙三个城市正式上线。图注:从左到右依次为北京、深圳、长沙页面的商圈功能。0000曝iPhone17将推Slim机型 取代现有“Plus”系列
站长之家(ChinaZ.com)5月6日消息:知名分析师JeffPu透露,iPhone17系列将展现“焕然一新的设计”,并带来前置摄像头的改进以及更为紧凑的灵动岛设计。其中,JeffPu预测苹果将推出一款全新的“iPhone17Slim”机型,该机型旨在取代现有的“Plus”系列。但值得注意的是,这款Slim机型并非iPhone12/13mini的延续,而是苹果在产品线中的一次全新尝试。站长网2024-05-06 18:48:430000