几千元训完中文版LLaMA2

训练大模型，几千块就能实现了!现在，15小时、几千块钱、85亿token数据，即可训出中文LLaMA2。综合性能达到开源社区同规模从头预训练SOTA模型水平。方案完全开源，包括全套训练流程、代码及权重。而且无商业限制，还可迁移应用到任意垂类领域和从头预训练大模型的低成本构建。要知道，从头预训练大模型此前被戏称“要5000万美元才能入局”，让许多开发者和中小企业都望而却步。

要点:1、通过词表扩充、数据筛选和多阶段训练策略，在15小时内用几千元成本训练出中文版LLaMA2。2、中文版LLaMA2在多项中文任务上的表现明显提升，达到同规模模型的先进水平。3、构建流程、代码和权重均开源，可迁移应用到其他语言和领域，实现低成本大模型训练。