登陆注册
12150

亚马逊 AWS 推出 Amazon EC2 Capacity Blocks 服务,为人工智能项目提供按需 Nvidia H100 GPU 资源

站长网2023-11-02 16:54:470

为了解决大型语言模型运行所需的 GPU 资源短缺问题,亚马逊 AWS 今日推出了 Amazon Elastic Compute Cloud (EC2) Capacity Blocks for ML 服务。该服务允许客户按照定义的时间购买 Nvidia H100 Tensor Core GPU 资源,用于执行特定的 AI 相关任务,如训练机器学习模型或运行现有模型的实验。

AWS 的 Channy Yun 在博客中写道:「这是一种创新的 GPU 实例调度方式,您可以预订未来日期所需的实例数量,仅按您需要的时间长度计费。」

客户可以按集群大小购买 1 至 64 个实例,每个实例含 8 个 GPU,并可预订最长 14 天的使用时间,最多可提前 8 周预订。预定时间结束后,实例将自动关闭。

这种新的购买方式让客户能够像预订酒店房间一样,预定一段时间内所需的实例数量。这种方式为客户提供了成本确定性,他们将清楚地知道任务的运行时长、需要使用的 GPU 数量以及前期的费用。

对于亚马逊来说,它们可以在类似拍卖的环境中投放这些炙手可热的资源,确保收入(前提是有客户购买)。资源的价格将根据供需关系动态变化

用户在注册该服务时,系统会显示预定时间和资源的总成本。用户可以根据自己的资源需求和预算来调整这个数字,然后再决定是否购买。

该新功能从今天开始在 AWS 美国东部(俄亥俄州)区域提供

0000
评论列表
共(0)条