用合成数据进行预训练大模型

**划重点:**1.🔄**预训练效率提升:**WRAP应用于嘈杂的C4数据集，预训练速度提高了近三倍，显著降低了LLM训练的高昂成本和时间投入。2.🚀**模型性能提升:**WRAP在相同计算预算下使模型性能更出色，通过使用Pile的不同子集，减少了超过10%的歧义，并在13种不同活动的零-shot问题回答准确性上提高了超过2%。