15小时

训练大模型，几千块就能实现了!现在，15小时、几千块钱、85亿token数据，即可训出中文LLaMA2。综合性能达到开源社区同规模从头预训练SOTA模型水平。方案完全开源，包括全套训练流程、代码及权重。而且无商业限制，还可迁移应用到任意垂类领域和从头预训练大模型的低成本构建。要知道，从头预训练大模型此前被戏称“要5000万美元才能入局”，让许多开发者和中小企业都望而却步。