羊驼进化成鲸鱼,Meta把对齐「自动化」,Humpback击败现有全部LLaMa模型
数据质量很重要。
这一年来,以 ChatGPT 和 GPT-4为代表的大语言模型(LLM)发展迅速,紧随其后,Meta 开源的 LLaMa、Llama2系列模型在 AI 界也引起的了不小的轰动。但随之而来的是争议不断,有人认为 LLM 存在一些不可控的风险,给人类生存构成一些潜在威胁。
为了应对这些挑战,对 LLM 对齐的研究变得越来越重要,有研究者提出指令跟随(instruction following),但这种方法需要大量的人工注释。然而,注释如此高质量的指令跟随数据集耗费巨大。
本文来自Meta AI 的研究者提出了一种可扩展的方法即指令回译(instruction backtranslation),该方法通过自动注释相应的指令来构建高质量的指令跟随语言模型。
论文地址:https://arxiv.org/pdf/2308.06259.pdf
具体而言,该研究从一个语言模型开始,并作为种子模型,该模型在少量的种子数据以及 web 语料库上进行了微调。种子模型的作用是用来构建训练样本,然后这些样本中的一些高质量样本将会被筛选出来,接着,这些数据被用来微调一个更强大的模型。
经过两轮迭代的数据集对 LLaMa 进行微调,所产生的模型 Humpback 在 Alpaca 排行榜上优于其他现有的非蒸馏模型,如 LIMA、Claude、Guanaco 等。
Humpback 原意为座头鲸,又名驼背鲸,Meta 将模型命名为 Humpback,也别有深意吧。
之所以称为指令回译,研究者表示这借鉴了机器翻译中经典的反向翻译方法,其中人类编写的目标句子会自动用模型生成的另一种语言的源句子进行注释。
图灵奖得主 Yann LeCun 高度概括了这项研究的方法,并称赞 Meta 这项工作为对齐研究做出重要贡献:
还有网友对这项研究进行了很好的概括:数据质量对大模型来说确实很重要,研究过程中,他们使用不同级别的过滤数据,微调了一个模型,结果表明,只有最好的样本才能得出比其他样本表现更好的模型。
该论文提出了一种需要两个步骤完成的新的数据增强范式。首先,必须拥有一组种子(指令、输出)对和语料库才能生成更多好的指令数据。
下图比较了 Humpback 与一些开源模型和专有模型。
下表4表明,本文方法在65B 和33B 模型尺度上都是非蒸馏模型中表现最好的模型。
下面我们看看具体方法。
方法简介
该研究提出了一种自训练方法(self-training),该方法通常假定可以访问基本语言模型、少量种子数据和未标记的样本集(例如网络语料库)。未标记数据往往是一大堆形态各异的文档,由人类编写,其中包括人类感兴趣的各种话题内容,但最重要的是没有与指令进行配对。
这里还有两个关键的假设,第一个假设是这个非常大的文本集(未标记样本集)存在一些子集,适合作为某些用户指令的生成样本。第二个假设是可以预测这些候选答案的指令,这些指令可以用于形成高质量样本对,以训练指令遵循模型。
如下图1所示,该研究提出指令回译过程包含两个核心步骤:
自增强:为未标记的数据(即网络语料库)生成指令,以为指令调优产生训练数据对(指令 - 输出)。
自管理:自主选择高质量样本数据作为训练数据,以微调基础模型来遵循指令,这种方法是迭代完成的。
其中,自管理步骤采用的 prompt 如下表1所示:
实验及结果
本文的数据集主要包括种子数据和增强数据,具体信息如表2和图2所示:
图3表示尽管扩大了数据规模,但没有自我管理(self-curation)的增强数据用来训练模型并不能提高指令跟随性能。
下图比较了不同指令调优数据集的数据效率。
数据和模型的联合扩展:该研究发现在7B 模型中观察到的数据扩展趋势同样也适用于更大的模型。例如对65B 的种子模型增加高质量的增强数据会带来进一步的改进。
常识推理:该研究在五个常识推理基准上进行了测试,SIQA 、PIQA、Arc-Easy、Arc-Challenge 和 Openbook QA (OBQA) , 结果总结于表5中。结果表明,与基础模型相比,本文模型在社会推理等多个方面的表现有所提高。
MMLU:表6总结了不同模型在 MMLU(massive multitask language understanding)的结果。与基础模型相比,本文微调模型提高了零样本准确率,但在5个样本上下文示例中表现不佳。
对冲基金经理使用 ChatGPT 来进行市场营销和汇总大量报告
根据一项新调查,对冲基金和其他资金管理人员越来越倾向于利用ChatGPT进行市场营销和汇总大量报告。根据法国巴黎银行的报告,44%的资管人员在职业环境中使用这种人工智能工具。大多数人利用ChatGPT生成营销文本,或者总结诸如监管文件或经纪研究报告等大型文档。一些受访的管理人员表示,他们希望利用ChatGPT来分析法律文件。站长网2023-08-01 11:55:420002ChatGPT月活15亿遥遥领先!50家企业厮杀6个月,白手起家占8成
【新智元导读】生成式AI大PK!50家企业上台竞争,ChatGPT遥遥领先,月活高达15亿。生成式AI爆火近一年,是时候来个年度大总结了!最近,国外一网站盘点了差不多一年以来所有生成式AI的数据,最后发现,ChatGPT遥遥领先。当然,这个结果也并不意外。要知道,在这快一年的时间里,生成式AI爆发式的涌现,统计数据中将近8成网站都是之前压根没有的。站长网2023-09-25 22:00:210000京东:快递小哥中三年收入超百万的已达近百人
今日,京东官方发文称,京东物流为员工提供了全员“五险一金”以及多项福利政策,使得京东员工在退休后能够享受有保障的生活。近年来,不少京东快递、客服、仓储、车队等基层一线员工退休,他们每月领取养老金,过上了有保障的退休生活。京东快递小哥中,有近百人的三年收入超过百万元,甚至在广东潮汕地区有小哥的三年收入超过200万元。站长网2024-01-18 10:13:310000ChatGPT锐评“一生不结婚,会面临什么” 抖音获赞25.5万
ChatGPT3.5版本如今在手机端也能免费使用语音对话,激起了网友们的创意潮流。抖音博主“AI领航者·奕霆”挑战ChatGPT,提出了一个备受关注的问题:“一生不结婚,会面临什么?”ChatGPT的回答却出人意料:站长网2023-11-28 16:04:010000云从科技:正在跟进大模型评估方法等技术标准立项研究
云从科技在互动平台表示,目前,公司正在跟进大模型能力要求和评估方法等领域的技术标准立项研究工作。后续,公司将不断为相关标准编制提供公司在大模型技术开发和测试验证领域的专业知识和工程经验。公司在全国信息安全标准委员会联合提出了《生成式人工智能人工标注安全规范》领域的国家标准立项建议。后续,公司将继续做好在预训练大模型、生成式人工智能领域的数据和隐私保护、功能安全可控等领域的标准研制工作。站长网2023-06-21 16:47:470001