包内30万亿token数据集

划重点:📌高质量数据对于像Llama、Mistral、Falcon、MPT和RedPajama等最先进的开放式LLM的成功至关重要。📌Together.ai的研究人员发布了RedPajama-1T，这是一个5TB的数据集，拥有1万亿高质量英语token，而RedPajama-V2则是一个30万亿token的在线数据集。