腾讯披露最新大模型训练方法:Angel框架升级 效率提升2.6倍

要点:

腾讯披露混元大模型训练方法，Angel框架升级，大模型训练效率提升至2.6倍，千亿级大模型训练可节省50%算力成本。

AngelPTM机器学习训练框架通过多维度并行优化存储，在通讯方面采用软硬件结合解决方案，提高大模型训练稳定性。

腾讯推出大模型推理框架AngelHCF，通过扩展并行能力和关键能力优化，相较于主流框架，推理速度提高了1.3倍。

在当前大模型参数规模呈指数级增长的情况下，腾讯近日披露了混元大模型训练的最新方法，通过升级自研机器学习框架Angel，成功提升大模型训练效率。这一升级使得千亿级大模型训练可以节省高达50%的算力成本，为应对算力紧缺提供了有力支持。Angel框架的升级不仅仅在于提高效率，还支持单任务万卡级别超大规模训练，进一步提升了腾讯云HCC大模型专属算力集群的性能和效率。

图源备注：图片由AI生成，图片授权服务商Midjourney

为了进一步提高大模型的训练和推理效率，腾讯自研了机器学习训练框架AngelPTM。在存储方面，AngelPTM采用多维度的并行计算，包括数据并行、模型并行、流水并行和序列并行。

此外，通过在ZeRO-Cache的基础上引入统一视角技术，将显存和主存打通，有效扩展了显存容量，提升了单机存储容量达90%。在通讯方面，腾讯通过软硬件结合的方式解决，构建了3.2T RDMA网络来拓宽带宽，同时在框架软件层面做GPU拓扑感知，实现了负载均衡的流水并行。为了确保稳定性，腾讯对基础设施的网络、硬件、存储、云原生调度都进行了监控，并实施了自动续训和系统容错。

此外，为解决推理成本不断上升的问题，腾讯推出了大模型推理框架AngelHCF。通过扩展并行能力和关键能力的优化，包括Embedding共享、Attention算子优化、Paged Attention优化等方式，提高了推理性能，相较于主流框架，AngelHCF的推理速度提高了1.3倍。这一框架在腾讯混元大模型文生图的应用中，将推理耗时从原本的10秒缩短至3至4秒。

腾讯不仅仅在大模型训练方面取得了显著的效率提升，还在推理阶段取得了实质性的优化。这一系列技术提升已经在腾讯云上得以开放，为用户提供更优的训练和推理加速能力，同时支持客户一站式训练精调，打造专属智能应用。腾讯内部已有超过300项业务和应用场景接入腾讯混元大模型内测，涵盖了文本总结、摘要、创作、翻译、代码等多个领域，这标志着整个生产链路的全面升级，从模型研发到应用落地形成了一站式的平台，进一步推动了大模型应用的发展。