苹果研究团队揭示WRAP技术：用合成数据进行预训练大模型 成本低准确性高

**划重点:**

1. 🔄 **预训练效率提升:** WRAP应用于嘈杂的C4数据集，预训练速度提高了近三倍，显著降低了LLM训练的高昂成本和时间投入。

2. 🚀 **模型性能提升:** WRAP在相同计算预算下使模型性能更出色，通过使用Pile的不同子集，减少了超过10%的歧义，并在13种不同活动的零-shot问题回答准确性上提高了超过2%。

3. 📝 **重新构造网络文档:** WRAP使用中等规模的LLM对网络文档进行改写，以多种风格呈现。

近几个月来，大型语言模型（LLMs）在人工智能社区中引起了极大的关注和流行。这些模型在文本摘要、问答、代码完成、内容生成等任务中展示出了强大的能力。

然而，LLMs通常在不充分的网络抓取数据上进行训练。这些数据通常杂乱、无结构，表达不清晰。按照现有的扩展原则，即随着模型规模的增加，计算能力和数据量也应该成比例增加，这带来了挑战。

困扰研究人员的主要问题有两个。首先，预训练涉及显着的计算成本和时间。其次，互联网上高质量数据的稀缺性问题迫在眉睫。在最新的研究中，来自苹果和卡内基梅隆大学的研究团队通过引入Web Rephrase Augmented Pre-training（WRAP）的概念，解决了这些问题。

WRAP是一种创新方法，利用已存在的、经过指令调整的LLM。这个LLM用于将在线页面改写成特定风格，包括模仿维基百科的语气或将文本转换为问答格式。WRAP的主要目标是通过添加真实和人工改写的数据来提高LLMs的预训练效果。

图源备注：图片由AI生成，图片授权服务商Midjourney

WRAP的主要特点包括:

- **预训练效率:** 将WRAP应用于嘈杂的C4数据集，显著加快了预训练速度，约为三倍。这种效果对于减少与LLM训练通常相关的高昂费用和时间投入至关重要。

- **模型性能提升:** WRAP在相同的计算预算下使模型性能更出色。使用Pile的不同子集减少了超过10%的歧义，提高了13种不同活动的零-shot问题回答准确性超过2%。

- **网络文档改写:** WRAP使用中等规模的LLM对网络文档进行改写，呈现多种风格。这种方法不同于创建新数据，而是通过改进已有内容，保持原始信息的质量和多样性。

WRAP生成的合成数据有两个主要好处。首先，它包含反映应用中使用的语言多样性的各种风格。有了这种多样性，LLM更好地为更广泛的实际事件做好准备。其次，WRAP改写的合成数据比原始网络抓取的数据质量更高。这种质量的提升源于语言更有序、更连贯，从而促进更有效的模型学习。

WRAP是LLM预训练领域的一项重大进展。通过使用高质量、不同风格的合成数据，WRAP不仅加速了训练过程，还提高了LLMs的整体性能。考虑到低质量网络数据的丰富性和经典LLM训练方法的资源密集性，这种方法提供了一种可能的前进方式。

论文网址:https://arxiv.org/abs/2401.16380