英伟达推出更强大的升级款人工智能芯片 GH200:内存是 H100 的三倍
英伟达于周二发布了一款设计用于运行人工智能模型的新芯片,以抵挡包括 AMD、谷歌和亚马逊在内的竞争对手在 AI 硬件领域的挑战。
根据一些估算,目前英伟达在 AI 芯片市场占有超过 80% 的份额。该公司专攻图形处理单元(GPU),已成为支撑生成式 AI 软件(如谷歌的 Bard 和 OpenAI 的 ChatGPT)的较大型 AI 模型的首选芯片。然而,由于科技巨头、云服务提供商和初创公司争夺 GPU 能力来开发自己的 AI 模型,英伟达的芯片供应短缺。
英伟达的新芯片 GH200 与公司目前最高端的 AI 芯片 H100 采用相同的 GPU。但是,GH200 将该 GPU 与 141GB 的尖端内存以及 72 核的 ARM 中央处理器配对。
英伟达 CEO 黄仁勋在周二的一次演讲中表示:「我们给这个处理器做了增强。」他还补充道:「这个处理器专为全球数据中心的规模而设计。」
据黄仁勋称,这款新芯片将于明年第二季度在英伟达的经销商处面市,并将在年底前供样品测试。英伟达代表拒绝透露价格。
通常,使用 AI 模型的过程分为训练和推理至少两个部分。
首先,使用大量数据对模型进行训练,这个过程可能需要数月时间,有时需要像英伟达的 H100 和 A100 芯片那样的成千上万个 GPU。然后,将模型用于软件中进行预测或生成内容,这个过程称为推理。与训练一样,推理需要大量的计算资源开销,并且每次软件运行时都需要大量的处理能力,比如生成文本或图像时。但与训练不同的是,推理几乎是持续进行的,而训练只有在需要更新模型时才需要进行。
黄仁勋表示:「你可以选择几乎任何大型语言模型放入其中,它将以令人惊讶的速度进行推理。大型语言模型的推理成本将大幅降低。」
英伟达的新 GH200 芯片专为推理而设计,因为它拥有更大的存储容量,可以将更大的 AI 模型放置在一个单独的系统上,英伟达副总裁 Ian Buck 在周二与分析师和记者的电话会议上表示。英伟达的 H100 内存容量为 80GB,而新的 GH200 为 141GB。英伟达还宣布推出了一个将两个 GH200 芯片结合成一台计算机的系统,以运行更大的模型。
Buck 说:「更大的存储容量使得模型可以常驻在单个 GPU 上,无需多个系统或多个 GPU 来运行。」
此次宣布正值英伟达的主要 GPU 竞争对手 AMD 最近发布了自己的 AI 芯片 MI300X,该芯片支持 192GB 的内存,被市场推广为适用于 AI 推理。包括谷歌和亚马逊在内的公司也正在设计自己的定制 AI 芯片用于推理。
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
快科技7月19日消息,阿里云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。站长网2024-07-20 03:30:380000英国政府招聘AI政策专家
划重点:-英国政府招聘"AI国际副主任",年薪75,000英镑,旨在与国际伙伴合作解决AI挑战。-职责包括领导全球AI发展,影响国际讨论,确保本地AI政策与全球目标一致。-招聘截止日期为10月22日,岗位要求有影响力和国际关系经验。站长网2023-10-13 18:16:560000多模态LLM幻觉问题降低30%!业内首个“啄木鸟”免重训方法诞生|中科大
还在用指令微调解决多模态大模型的“幻觉”问题吗?比如下图中模型将橙色柯基错认为“红狗”,还指出周围还有几条。现在,中科大的一项研究想到了一个全新办法:一个免重训、即插即用的通用架构,直接从模型给出的错误文本下手,“倒推”出可能出现“幻觉”之处,然后与图片确定事实,最终直接完成修正。他们将这个方法命名为“啄木鸟”(Woodpecker)。站长网2023-10-30 21:08:410000微信小店助手APP上线:商家可在移动端管理店铺、查看数据
快科技10月30日消息,微信官方今日发文表示,面向微信小店商家的微信小店助手已正式上线。作为一款独立App,微信小店助手为微信小店商家提供了更便捷的移动端管理工具,支持店铺管理、数据查看和客户服务等功能。微信小店助手App可以帮助商家在移动端进行商品发布和管理、订单和售后处理,以及优惠券配置等操作。站长网2024-10-30 22:23:450000AI通话服务Bland 半秒响应,可同时进行50万个通话
Bland是一个AI通话服务,它支持半秒响应。它能够稳定地匹配人类的速度和质量,为用户带来最快的沟通体验。Bland可以实现即时呼叫,每一次都能够立刻接通,并且能够同时进行50万个通话。用户可以免费试用,体验快速响应的便利。体验地址:https://top.aibase.com/tool/bland-turbo站长网2024-01-08 11:48:470002