用于训练大型语言模型

划重点:📌高质量数据对于像Llama、Mistral、Falcon、MPT和RedPajama等最先进的开放式LLM的成功至关重要。📌Together.ai的研究人员发布了RedPajama-1T，这是一个5TB的数据集，拥有1万亿高质量英语token，而RedPajama-V2则是一个30万亿token的在线数据集。