登陆注册
12848

英伟达正式宣布 AI Foundry 服务:与微软 Azure 合作推出 H100 实例,明年推出 H200 实例

站长网2023-11-16 10:24:410

英伟达正式宣布推出其 AI Foundry 服务计划,这是一套包括英伟达 AI 基础模型、英伟达 NeMo 框架和工具,以及 DGX 云 AI 超级计算和服务的全方位解决方案,为企业打造和优化定制的生成式 AI 模型。

英伟达 AI Foundry 服务将使通信和媒体提供商的领先软件和服务供应商 Amdocs 能够优化企业级大型语言模型,从而在其业务范围内高效部署生成式 AI 用例,涵盖从客户体验到网络运营和配置。这些 LLM 将作为 Amdocs amAIz 框架的一部分,在英伟达加速计算上运行。

此次合作构建在此前宣布的 Amdocs-Microsoft 合作伙伴关系之上,使服务提供商能够在安全、可信的环境中,包括本地和云端,采用这些应用程序。

新的英伟达 H100 和 H200 Tensor Core GPU 实例将登陆微软 Azure,加速 AI 工作负载

英伟达继续与微软合作构建最先进的 AI 基础设施。作为此项合作的一部分,微软将向 Azure 引入更多基于 H100 的虚拟机,以加速中等规模的 AI 工作负载。

在今天在西雅图举行的 Ignite 大会上,微软宣布了其新的 NC H100 v5 VM 系列,这是业内首个配备英伟达 H100 NVL GPU 的云实例。这一产品将两个基于 PCIe 的 H100 GPU 通过英伟达 NVLink 连接在一起,提供近 4 petaflops 的 AI 计算能力和 188GB 更快的 HBM3 内存。英伟达 H100 NVL GPU 能够在 GPT-3 175B 上提供比上一代高达 12 倍的性能,非常适合推理和主流训练工作负载。

此外,微软宣布计划明年将英伟达 H200 Tensor Core GPU 添加到其 Azure 系列中,以支持更大型模型的推理,同时不降低延迟。这款新产品旨在加速最大的 AI 工作负载,包括 LLM 和生成式 AI 模型。H200 GPU 使用最新一代 HBM3e 内存,在内存容量和带宽方面均有显著提升。

与其前身相比,这款新 GPU 将提供 141GB 的 HBM3e 内存(增加 1.8 倍)和 4.8 TB/s 的峰值内存带宽(增加 1.4 倍)。

云计算迈向机密性

为了进一步扩大 Azure 客户对英伟达加速生成式 AI 计算的可用性,微软宣布了另一个英伟达支持的实例:NCC H100 v5。

这些 Azure 机密虚拟机(VM)配备英伟达 H100 Tensor Core GPU,允许 Azure 客户在使用中保护其数据和应用程序的保密性和完整性,同时访问 H100 GPU 的无与伦比加速性能。这些增强 GPU 的机密 VM 将很快在私有预览中推出。

0000
评论列表
共(0)条