微软推出ND H100v5虚拟机系列 配备8个英伟达H100芯片
站长网2023-11-21 09:06:450阅
微软推出了全新的 ND H100v5虚拟机系列,该系列配备了最新的 NVIDIA H100Tensor Core GPU 和 NVIDIA Quantum-2InfiniBand 网络。
这款虚拟机具有 AI 超级计算 GPU、新一代 CPU、低延迟网络、优化主机到 GPU 的性能以及大规模的内存和内存带宽等特性,能够提供无与伦比的计算能力。

使用新的8位 FP8浮点数据类型进行矩阵乘法操作时,速度提升了六倍,比前一代的 FP16更快。ND H100v5VM 帮助大型语言模型(如 BLOOM175B 端到端模型)实现了最高两倍的推理速度提升,验证了它们进一步优化 AI 应用的潜力。
ND H100v5VM 虚拟机系列具有以下特性:
AI 超级计算 GPU:配备了八个 NVIDIA H100Tensor Core GPU。比起上一代虚拟机,该系列可让 AI 模型显著提速,为企业提供无与伦比的计算能力。
新一代计算机处理单元(CPU):CPU 性能对于 AI 的训练和推理至关重要,微软选择了第四代 Intel Xeon Scalable 处理器,确保虚拟机达到最佳的处理速度。
低延迟网络:采用 NVIDIA Quantum-2ConnectX-7InfiniBand,每个 GPU 拥有400Gb/s、每个 VM 拥有3.2Tb/s 的跨节点带宽,确保 GPU 间的无缝性能,堪称全球顶级的超级计算机。
优化主机到 GPU 的性能:通过PCIe Gen5提供每个GPU64GB/s的带宽,Azure在CPU和GPU之间具有显著的性能优势。
大规模的内存和内存带宽:DDR5内存是该系列虚拟机的核心,提供更高的数据传输速度和效率,使它们成为处理大规模数据集工作负载的理想选择。
0000
评论列表
共(0)条相关推荐
手把手教你剪「羊驼」,陈丹琦团队提出LLM-Shearing大模型剪枝法
给Llama2(羊驼)大模型剪一剪驼毛,会有怎样的效果呢?今天普林斯顿大学陈丹琦团队提出了一种名为LLM-Shearing的大模型剪枝法,可以用很小的计算量和成本实现优于同等规模模型的性能。站长网2023-10-12 18:07:4000002023 年人工智能改变互联网的 5 种方式
尽管难以置信,但ChatGPT才推出仅有一年的历史。自从OpenAI在2022年11月首次发布ChatGPT以来,它迅速成为有史以来增长最快的应用程序,引发了谷歌的恐慌,并点燃了大型科技公司内部的生成型AI竞赛。自那以后,生成型AI的兴起被誉为下一个工业革命,引发了关于人类生存的哲学和伦理问题,并使政府关注其破坏性潜力。因此,对于AI来说,这确实是重大的一年。0000DeepSeek绕开CUDA垄断,V3论文细节再挖出!英伟达护城河不存在了?
原本DeepSeek低成本训出的R1,就已经让整个硅谷和华尔街为之虎躯一震。而现在又曝出,打造这款超级AI,竟连CUDA也不需要了?根据外媒的报道,他们在短短两个月时间,在2,048个H800GPU集群上,训出6710亿参数的MoE语言模型,比顶尖AI效率高出10倍。这项突破不是用CUDA实现的,而是通过大量细粒度优化以及使用英伟达的类汇编级别的PTX(并行线程执行)编程。0000北京9岁小学生,已经用AI出书了!罗永浩围观:有事找不到我找AI
一个年仅9岁的男孩,利用AI智能体,竟然出版了一本书!他叫许萌萌,是来自北京市第二实验小学的一名三年级学生。萌萌与AI智能体共创的书叫做《AI少年——火星生存大挑战》,是一本科普小说,讲述了发生在火星上的“密室逃脱”的故事。而他所选用的AI,正是来自智谱AI的智谱清言。至于这本书具体是如何跟AI共创的,萌萌也做了详细地介绍:站长网2024-06-07 08:42:250000CMA松口,微软终于能将动视暴雪“娶回家”了
折腾了一年多时间的微软收购动视暴雪终于落下了帷幕,当地时间9月22日,英国竞争和市场管理局(CMA)方面宣布,动视暴雪向育碧出售云游戏版权解决了此前的担忧,并为这一交易获得批准打开了大门。目前CMA虽然还对新协议存在有限的担忧,但微软方面也提出了临时补救措施,大概率能够解决这些问题。站长网2023-10-01 21:51:120001