英伟达发布新一代AI处理器H200 性能较H100提高60%至90%
站长网2023-11-14 09:09:550阅
昨日晚间,英伟达Nvidia 推出了 H200,这是一款专为训练和部署生成式人工智能模型的图形处理单元(GPU)。
它基于 NVIDIA Hopper 架构,具有先进的内存和处理能力,可处理海量的数据用于生成式 AI 和高性能计算工作负载。
H200是第一款具有 HBM3e 内存的 GPU,提供了141GB 的内存和4.8TB/s 的内存带宽,几乎是 NVIDIA H100Tensor Core GPU 容量的两倍,内存带宽也增加了1.4倍。
在 AI 领域,业务需要使用大型语言模型来满足各种推理需求。H200在处理类似 Llama2这样的大型语言模型时,相比 H100GPU 的推理速度提高了2倍。
对于高性能计算应用,内存带宽对于提高数据传输速度、减少处理瓶颈至关重要。H200的更高内存带宽确保高效地访问和操作数据,使得与 CPU 相比,处理时间快了110倍。
此外,H200的能效和总拥有成本也有所降低。这项前沿技术不仅提供了卓越的性能,而且功耗与 H100相同。
预计 H200将在2024年第二季度开始发货。
Nvidia 表示,H200将兼容 H100,这意味着已经在使用先前模型进行训练的人工智能公司无需更改其服务器系统或软件即可使用新版本。
0000
评论列表
共(0)条相关推荐
国产单机《完蛋!我被美女包围了!》爆火出圈!Steam口碑上涨好评如潮
11月1日消息,最近,国产真人模拟恋爱互动游戏《完蛋!我被美女包围了!》爆火出圈,游戏直播、游戏片段在短视频平台受到网友关注。自10月18日上线Steam平台以来,《完蛋!我被美女包围了!》好评率持续上涨。截稿前,本作在Steam商店已达到好评如潮”,好评率高达95%,收录15120条评价。据了解,《完蛋!我被美女包围了!》近日还被新华社的新华财经转发报道。站长网2023-11-01 20:49:400000实探ofo创始人戴威的美国咖啡店:目前不赚钱
5月19日消息,ofo创始人戴威赴美创业,开了一家名为AboutTimeCoffee(咖啡时光)的咖啡店。有博主实探AboutTimeCoffee咖啡店。他表示,该咖啡店目前在纽约有五家店,位置都在繁华地区,除了特色珍珠咖啡,售卖的还有常规咖啡,价格在2-4美元,和网红店营销方式一样,新用户首次下载app注册,还能免费送五杯。他们也在社交媒体上做了推广,目前咖啡店应该不赚钱。0000iPhoneSE4或将使用iPhone14同款电池 以降低生产成本
据MacRumors报道,iPhoneSE4将使用与iPhone14相同的电池,以降低生产成本。有消息称,一些原型机已经配备了型号为A2863的锂离子电池,这与iPhone14使用的电池完全相同。内部设计文件也证实了这一变化。0000巨头ChatGPT大战陷败局,竟因嫌GPU太贵!Meta用CPU跑AI,点错科技树
【新智元导读】小扎AllIn元宇宙两年后,忽然发现全世界都在搞生成式AI。这可尴尬了,自家公司还在用CPU做AI推理呢……ChatGPT大战,Meta为何迟迟没有动作?就在今天,路透社记者挖出了一个大瓜,原因让人瞠目结舌——相比谷歌、微软等大厂,Meta跑AI时,用的竟然是CPU!很难想象,在深度学习几乎占机器学习半壁江山的时代,一个科技巨头竟然能用CPU坚持这么久。站长网2023-04-26 16:05:410001贾跃亭下周回国无望:法拉第未来收到退市通知
快科技12月29日消息,贾跃亭下周回国依旧遥遥无期!据财联社报道,当地时间12月28日,法拉第未来(FF)收到纳斯达克关于退市或不符合继续上市规则或标准的通知。值得一提的是,两年前的11月底,法拉第未来就曾收到了美国证券交易委员会的一份警示函,称由于FF没有在规定期限内提交第三季度财报,被列为不符合规定的上市公司。站长网2023-12-31 09:54:590000