用于大模型训练

要点:1.TogetherAI发布了RedPajamav2，这是一个包含30万亿标记的开放数据集，用于训练大型语言模型。2.这个数据集的目的是提供高质量的数据，以支持开放式大型语言模型的成功发展。3.数据集包含来自CommonCrawl和其他公开可用网络数据的原始文本数据，以及超过40个质量注释和去重集群。