百川智能发布大模型Baichuan3 称中文评测超越GPT-4

百川智能于 1 月 29 日推出了拥有超过千亿参数的大型语言模型Baichuan 3。该模型在多个公认的通用能力评估，如CMMLU、GAOKAO和AGI-Eval等，都展示了卓越的表现，特别是在中文任务上更是超过了GPT- 4 的水平。同时，该模型在数学和代码方面的评估，如MATH、HumanEval和MBPP等，也有着优秀的成绩，证明了Baichuan3 在自然语言处理和代码生成领域的强劲实力。

百川智能还表示，其在逻辑推理能力和专业性要求很高的MCMLE、MedExam、CMExam等权威医疗评估上的中文效果也超过了GPT-4，成为中文医疗任务中表现最好的大型模型。Baichuan3 还突破了“迭代式强化学习”技术，进一步增强了语义理解和生成能力，在诗词创作的格式、韵律、表意等方面表现出色，领先于其他大型模型。

为了保证在数千张GPU上高效且稳定地训练超千亿参数模型，百川智能同时优化了模型的训练稳定性和训练框架，并采用了“异步CheckPoint存储”机制，可以在不损失性能的情况下增加存储的频率，减少机器故障对训练任务的影响，使Baichuan3 的稳定训练时间达到一个月以上，故障恢复时间不超过 10 分钟。

训练效率方面，百川智能针对超千亿参数模型的并行训练问题进行了一系列优化，如高度优化的RoPE， SwiGLU计算算子；在数据并行中实现参数通信与计算的重叠，以及在序列并行中实现激活值通信与计算的重叠，从而有效降低了通信时间的比重；在流水并行中引入了将激活值卸载至CPU的技术，解决了流水并行中显存占用不均的问题，减少了流水并行的分段数量并显著降低了空泡率。通过这些技术创新，Baichuan3 的训练框架在性能方面相比业界主流框架提升超过30%。

官方表示，作为参数规模超过千亿的大语言模型，Baichuan3 不仅英文效果达到接近GPT- 4 的水平，还在多项通用中文任务的表现上实现了对GPT- 4 的超越，是百川智能的全新里程碑。Baichuan3 全面的通用能力以及在医疗领域的强大表现，将为百川智能打造“超级应用”，把大模型技术落地到诸多复杂应用场景提供有力支撑。