LLaMA来了

要点:淘天集团联合爱橙科技正式对外开源大模型训练框架Megatron-LLaMA，以提高大语言模型训练性能，降低训练成本。测试显示，相比HuggingFace代码，Megatron-LLaMA在32卡训练上获得176%的加速;在大规模训练上表现出几乎线性的扩展性。Megatron-LLaMA已在GitHub开源，将持续关注社区发展，与开发者共同推进自适应配置、更多模型支持等方向。