一个专为中等规模语言模型设计的模型训练库

要点:1.OpenLM是一个简单且精简的PyTorch代码库，用于训练中等规模的语言模型，旨在最大化GPU利用率和训练速度，易于用于新的语言模型研究和应用。2.OpenLM通过训练两个语言模型，OpenLM-1B和OpenLM-7B，分别在1.6T和1.25T文本标记上进行验证，并在标准的零样本文本分类和多项选择任务上表现出色。