微软推出ND H100v5虚拟机系列 配备8个英伟达H100芯片
站长网2023-11-21 09:06:450阅
微软推出了全新的 ND H100v5虚拟机系列,该系列配备了最新的 NVIDIA H100Tensor Core GPU 和 NVIDIA Quantum-2InfiniBand 网络。
这款虚拟机具有 AI 超级计算 GPU、新一代 CPU、低延迟网络、优化主机到 GPU 的性能以及大规模的内存和内存带宽等特性,能够提供无与伦比的计算能力。
使用新的8位 FP8浮点数据类型进行矩阵乘法操作时,速度提升了六倍,比前一代的 FP16更快。ND H100v5VM 帮助大型语言模型(如 BLOOM175B 端到端模型)实现了最高两倍的推理速度提升,验证了它们进一步优化 AI 应用的潜力。
ND H100v5VM 虚拟机系列具有以下特性:
AI 超级计算 GPU:配备了八个 NVIDIA H100Tensor Core GPU。比起上一代虚拟机,该系列可让 AI 模型显著提速,为企业提供无与伦比的计算能力。
新一代计算机处理单元(CPU):CPU 性能对于 AI 的训练和推理至关重要,微软选择了第四代 Intel Xeon Scalable 处理器,确保虚拟机达到最佳的处理速度。
低延迟网络:采用 NVIDIA Quantum-2ConnectX-7InfiniBand,每个 GPU 拥有400Gb/s、每个 VM 拥有3.2Tb/s 的跨节点带宽,确保 GPU 间的无缝性能,堪称全球顶级的超级计算机。
优化主机到 GPU 的性能:通过PCIe Gen5提供每个GPU64GB/s的带宽,Azure在CPU和GPU之间具有显著的性能优势。
大规模的内存和内存带宽:DDR5内存是该系列虚拟机的核心,提供更高的数据传输速度和效率,使它们成为处理大规模数据集工作负载的理想选择。
0000
评论列表
共(0)条相关推荐
生成式AI公司Galileo推出检索增强生成工具
**划重点:**1.🚀Galileo发布了检索增强生成(RAG)和代理分析解决方案,旨在帮助企业开发可信赖的人工智能(AI)解决方案。2.🔍RAG系统通过在大型语言模型(LLMs)的通用知识基础上添加领域特定上下文,提供领域特定结果。3.🔄Galileo的工具通过将先进的见解和度量嵌入用户现有工作流中,提供对RAG工作流的每个阶段的可见性,实现快速评估、错误检测和迭代。站长网2024-02-07 10:43:490000Microsoft 365 Copilot 现已面向部分客户推出 起售价 9000 美元
站长之家(ChinaZ.com)11月2日消息:微软近日宣布为企业客户推出Microsoft365Copilot普通版,将人工智能(AI)的能力整合到其产品线中,包括MicrosoftTeams,Outlook,Word,Excel和PowerPoint。站长网2023-11-02 16:02:5400004天大赚1亿美元,《幻兽帕鲁》这匹开年黑马“缝”明白了
一周狂赚1亿美元,游戏《幻兽帕鲁》的成绩绝对让不少人眼红。据游戏开发商Pocketpair披露数据,《幻兽帕鲁》自1月19日上线Steam以来,8小时内销量突破100万,6天内销量突破800万。TGA官方表示,该游戏前四天Steam和Xbox收入总和达到1.62亿美元。而其投入成本仅有10亿日元(约合人民币4855万元)。站长网2024-01-30 09:23:500000X100主摄下放!vivo S18系列上架官网:三剑齐发
快科技12月12日消息,vivoS18系列上架vivo官网,该系列一共有S18e、S18和S18Pro三款机型。如图所示,vivoS18和S18Pro采用相近的工业设计,S18e摄像头Deco与前两款有明显区别。站长网2023-12-12 21:14:560000FakeYou:克隆你的声音,生成个性化语音
FakeYou是一款功能强大的文本到语音音频剪辑工具,可以帮助用户生成个性化的语音内容。它简单易用,提供多种语音风格和场景选择,同时支持实时语音克隆和仿声模拟体验。体验地址:https://fakeyou.com/不仅适用于个人使用,还能为内容创作者和任何希望为消息添加个性的人提供帮助。无论是在工作、学习还是娱乐中,FakeYou都能满足用户的需求,让用户更好地表达自己。功能:站长网2023-08-15 11:17:340000