英伟达推出更强大的升级款人工智能芯片 GH200:内存是 H100 的三倍
英伟达于周二发布了一款设计用于运行人工智能模型的新芯片,以抵挡包括 AMD、谷歌和亚马逊在内的竞争对手在 AI 硬件领域的挑战。
根据一些估算,目前英伟达在 AI 芯片市场占有超过 80% 的份额。该公司专攻图形处理单元(GPU),已成为支撑生成式 AI 软件(如谷歌的 Bard 和 OpenAI 的 ChatGPT)的较大型 AI 模型的首选芯片。然而,由于科技巨头、云服务提供商和初创公司争夺 GPU 能力来开发自己的 AI 模型,英伟达的芯片供应短缺。
英伟达的新芯片 GH200 与公司目前最高端的 AI 芯片 H100 采用相同的 GPU。但是,GH200 将该 GPU 与 141GB 的尖端内存以及 72 核的 ARM 中央处理器配对。
英伟达 CEO 黄仁勋在周二的一次演讲中表示:「我们给这个处理器做了增强。」他还补充道:「这个处理器专为全球数据中心的规模而设计。」
据黄仁勋称,这款新芯片将于明年第二季度在英伟达的经销商处面市,并将在年底前供样品测试。英伟达代表拒绝透露价格。
通常,使用 AI 模型的过程分为训练和推理至少两个部分。
首先,使用大量数据对模型进行训练,这个过程可能需要数月时间,有时需要像英伟达的 H100 和 A100 芯片那样的成千上万个 GPU。然后,将模型用于软件中进行预测或生成内容,这个过程称为推理。与训练一样,推理需要大量的计算资源开销,并且每次软件运行时都需要大量的处理能力,比如生成文本或图像时。但与训练不同的是,推理几乎是持续进行的,而训练只有在需要更新模型时才需要进行。
黄仁勋表示:「你可以选择几乎任何大型语言模型放入其中,它将以令人惊讶的速度进行推理。大型语言模型的推理成本将大幅降低。」
英伟达的新 GH200 芯片专为推理而设计,因为它拥有更大的存储容量,可以将更大的 AI 模型放置在一个单独的系统上,英伟达副总裁 Ian Buck 在周二与分析师和记者的电话会议上表示。英伟达的 H100 内存容量为 80GB,而新的 GH200 为 141GB。英伟达还宣布推出了一个将两个 GH200 芯片结合成一台计算机的系统,以运行更大的模型。
Buck 说:「更大的存储容量使得模型可以常驻在单个 GPU 上,无需多个系统或多个 GPU 来运行。」
此次宣布正值英伟达的主要 GPU 竞争对手 AMD 最近发布了自己的 AI 芯片 MI300X,该芯片支持 192GB 的内存,被市场推广为适用于 AI 推理。包括谷歌和亚马逊在内的公司也正在设计自己的定制 AI 芯片用于推理。
三星Galaxy S24系列曝光:双处理器回归 回归双芯片战略
近日,三星新一代旗舰GalaxyS24系列已经通过国家质量认证,该系列包含三星GalaxyS24、三星GalaxyS24和三星GalaxyS24Ultra三个版本。据数码博主透露,全新的三星GalaxyS24系列将继续采用三星祖传的25W充电,GalaxyS24(SM-S9260)和GalaxyS24Ultra(SM-S9280)则依然支持45W充电,与前代保持一致。站长网2023-09-17 09:21:050000为机器人装“大脑” 谷歌发布RT-2大模型
大语言模型不仅能让应用变得更智能,还将让机器人学会举一反三。在谷歌发布RT-1大模型仅半年后,专用于机器人的RT-2大模型于近期面世,它能让机器人学习互联网上的文本和图像,并具备逻辑推理能力。该模型为机器人智能带来显著升级——即便在机器人没有经历过的场景下,RT-2也通过学习让它根据指令完成任务。站长网2023-08-02 12:03:080000茶百道向港交所提交上市申请 2023年第一季度营收12.46亿元
港交所文件显示,四川百茶百道实业股份有限公司向港交所提交上市申请,独家保荐人为中金公司。数据显示,2020-2022年,茶百道营收分别为10.80亿元、36.44亿元、42.32亿元,净利润分别为2.38亿元、7.79亿元、9.65亿元。2023年第一季度,茶百道营收为12.46亿元,净利润为2.85亿元。门店规模方面,截至2023年8月8日,茶百道在全国31个省市共有7117家门店。站长网2023-08-16 08:29:190000清华、北邮等联合发布首个大模型时代下的文本水印综述
在大模型时代,清华、港中文、港科广、UIC、北邮联合发布了一篇文本水印综述,全面探讨了大模型与文本水印技术的交融。该综述首先回顾了文本水印的起源,随后聚焦于大模型时代的三个关键方向:将现有文本水印算法应用于大模型、大模型辅助文本水印算法设计、直接将水印植入大模型。特别强调了文本水印技术在解决大语言模型信息滥用问题上的作用。站长网2024-01-26 16:51:280000一加Ace 3或将全球首发1.5K东方屏
今天,数码博主@数码闲聊站曝光了一加Ace3手机的详细参数。这款手机将全球首发1.5K东方屏。一加Ace3的屏幕尺寸为6.78英寸,分辨率为2780*1264,采用了新一代8TLTPO技术,使得屏幕更加流畅且省电。此外,这块屏幕还采用了京东方全新X1发光材质,峰值亮度突破了4000尼特,支持高频PWM调光与类DC调光。0000