英伟达与 Anyscale 合作：提高大型语言模型和生成式 AI 应用的开发效率

用于生成式 AI 工具的大型语言模型通常会极大地增加对更多处理器的需求，这些处理器通常价格昂贵且供应受限。即使是云资源也不能总是解决企业试图扩展规模并利用最新的生成式 AI 技术所面临的问题。

图片来自NVIDIA

「GPU 芯片的扩展迟早将无法跟上模型大小的增长。」Gartner Research 副总裁兼杰出分析师 Avivah Litan 在接受 Computerworld 采访时表示。因此，「继续制造越来越大的模型不是可行选项。」

市场上最大的 GPU 制造商英伟达显然看到了开源软件提高 AI 开发和效率方面价值。周一，Anyscale 宣布将英伟达 AI 引入 Ray 开源和 Anyscale 平台中。英伟达 AI 还将在 Anyscale Endpoints 中运行，该服务可帮助应用程序开发人员使用流行的开源模型（如 Code Llama、Falcon、Llama 2、SDXL 等）嵌入 LLMs 到其应用程序中。

最近宣布的 Nvidia TensorRT-LLM 将支持 Anyscale 以及 Nvidia AI Enterprise 软件平台。它可用于自动扩展推理以在多个 GPU 上并行运行模型，从而在运行 Nvidia H100 Tensore Core GPU 时提供 8 倍的性能提升，英伟达在博客中表示。

此外，英伟达 Triton Interence Server 软件支持在 GPU、CPU 和其他处理器上跨云、数据中心、边缘和嵌入式设备进行推理。当与 Ray 集成时，开发人员可以提高来自各种框架的 AI 模型（包括 TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO 等）的效率。

Anyscale 声称其 Ray 是全球增长最快的可扩展计算统一框架。英伟达 NeMo 是一个面向云原生的框架，可以被 Ray 开发人员用于为客户提供 LLMs。

「我们与英伟达的合作将为 Anyscale 的产品组合带来更多性能和效率，以便开发人员随处创建具有前所未有速度和效率的 LLMs 和生成 AI 应用程序。」Anyscale 首席执行官兼联合创始人 Robert Nishihara 在一份声明中表示。