650亿参数大模型预训练方案开源可商用

650亿参数大模型的预训练方案，发布即开源。训练速度较传统方案提升38%。这就是由Colossal-AI最新发布的类LLaMA基础大模型预训练方案。要知道，在“百模大战”背景下，谁拥有自家大模型，往往被视为核心竞争力。在这个节点下，愿意开源大模型的公司少之又少。但自己从头训练一个大模型，对技术、资金都有很高要求。由此，Colossal-AI最新的开源动作，可以说是应时势所需了。