Allen AI开源微调模型OLMo-7B-Instruct

Allen AI最近宣布开源了微调模型OLMo-7B-Instruct，这是一个真正意义上的开源项目。该模型是基于AI2的Dolma数据集构建的，该数据集包括了用于语言模型预训练的三万亿标记的开放语料库，还包括生成训练数据的代码。

官网：https://allenai.org/olmo

项目页：https://top.aibase.com/tool/olmo

此外，OLMo框架还包括四种7B规模模型变体的完整模型权重，每个模型至少训练了2T个标记。推理代码、训练指标和训练日志也都已提供，让用户可以轻松复刻微调过程。

为了帮助用户更好地评估模型性能，Allen AI还发布了用于开发中使用的评估套件。每个模型在训练过程中每1000步都有500多个检查点，并且提供了在Catwalk项目框架下的训练和评估代码。

这一系列的开源内容将使用户能够全面了解从预训练模型到RLHF微调模型的整个过程，为他们的研究和实践提供了强大的支持。Allen AI的举措为开源社区提供了更多可能性，促进了模型研究和应用的发展。