微软用AI Agent生成2500万对高质量数据,极大提升大模型性能!
随着ChatGPT、Copliot等生成式AI产品的快速迭代,对训练数据的需求呈指数级增长,同时也是提升大模型性能的关键环节之一。
为了解决训练数据短缺和质量差的难题,微软研究院发布了一个专门用于生成高质量合成数据的的AI Agent——Agent Instruct。
论文地址:https://arxiv.org/abs/2407.03502
为了突破传统合成数据的拟合性、多元化性差等,AgentInstruct使用了一种创新性方法“生成教学”(Generative Teaching),并通过多种智能体共同协作自动完成数据转换、清洗、优化从而合成高质量数据。
AgentInstruct会先收集各种原始数据种子,例如,教科书章节、网络文章、代码片段等。这些种子作为后续数据合成的基础,为模型提供了丰富的信息来源。
然后通过Content Transformation Agents智能体将原始的种子材料转换成一种中间形式,这种形式简化了后续步骤中针对具体目标创建指令的过程。
例如,一个简单的文本段落会被转换成一个论点段落、会议记录转录内容、API列表等。通过转换过程使得原本无结构的内容变得更加有条理,同时也保留了原始材料的多样性和丰富性。
在种子指令创建流程中,Instruction Creation Agents智能体会进一步处理这些经过初步转换的内容,创造出多样化的指令。
这些指令可以是要求模型执行某一特定任务的请求,例如,修改一段文字、编写一个故事、解释一个概念或是完成一个编码任务。
该阶段的目标是生成一系列具有挑战性且多样的任务,从而让模型在训练过程中接触到尽可能多的不同类型的任务。
为了进一步提指令的质量和复杂性,研究人员引入了指令细化流程,通过Refinement Agents智能体对指令进行深入的迭代优化,确保每一条指令都能够更加精准地达到预期的数据效果。
在细化的过程中,智能体首先提出各种可能的改进方案,旨在增加指令的复杂性、多样性和质量。例如,可能会提出修改指令中的某些部分,使得原本直接的问题变得更加间接,或者增加一些需要模型进行推理才能得出答案的元素。
然后再对改进后的方案进行一步优化,并且在语言表述上保持清晰和准确。智能体会仔细审核每一条建议的可行性和效果,然后以一种合理的方式整合到指令中。整个流程会反复进行迭代、优化,直到达到预期的合成数据规模和质量水平。
研究人员通过Agent Instruct自动生成了2500万个配对的高质量合成数据集,包含文本编辑、创意写作、编程、阅读理解等。然后再用生成的数据对Mistral-7b模型进行了训练、微调,开发了Orca-3模型。
在一系列基准测试中,Orca-3相比原来的Mistral-7b-Instruct的模型性能提升巨大。例如,在AGIEval上提升了40%,MMLU上提高了19%,GSM8K上进步了54%,BBH上提升了38%,AlpacaEval上提升了45%。同时,Orca-3在多项指标上也超越了LLAMA-8B-instruct和GPT-3.5-turbo等其他模型。
Metaverse踏出VR 元宇宙平台Horizon Worlds网页版已上线
据国外媒体报道,Meta旗下元宇宙平台HorizonWorlds终于正式离开只能通过VR头显体验的封闭状态,网页版本和移动App版本已经面向部分用户开放早期公测。这标志着HorizonWorlds有望服务更广大的非VR设备用户,而不仅限于昂贵的QuestVR头显设备用户。站长网2023-09-15 10:59:560001日本研发出开车机器人:时速5公里 只能开直线和右转
快科技7月15日消息,据报道,日本东京大学河原塚健人团队研发一款可以驾驶普通汽车的机器人。该机器人名为武藏,有74块肌肉”和39个关节,它每只手有五根手指,手脚上都有压力传感器。它能够执行复杂的任务,例如转动方向盘、踩踏板、使用手刹、转动点火钥匙,甚至使用指示灯。机器人的眼睛,配备了与人工智能系统相连的高分辨率摄像头,这使它能够识别后视镜中的行人,并对交通信号灯变换等做出反应。站长网2024-07-15 21:36:380000AI率先解放了情感咨询的生产力
“怀孕六个月,我老公跟前妻一起带他们的孩子出去玩,三个人只开了一个标间。我老公说什么都没发生,但我还是觉得很崩溃,跟他大吵了一架,在家里抱怨了一通,把我婆婆气到住院了。我老公骂了我一顿,把我拉黑,半个多月没回家,生活费也不打,要怎么办?”这是硬糖君在某社交媒体刷到的真实热帖。将其抛给情感领域的从业者,我得到三个答案。站长网2024-03-04 19:15:250000IBM 发布新的 Watsonx.AI 和数据平台:超过 150 多家企业客户参与测试
IBM的watsonx.ai和数据平台的两个组件已经推出,第三个组件即将到来。IBM于周二宣布了watson.ai和watson.data的发布,并确认watsonx.governance将于十月推出。此外,IBM透露包括花旗银行、NASA、三星和Wimbledon在内的150多个企业客户参与了公司的测试版和技术预览。站长网2023-07-13 09:00:160000ChatGPT每天烧掉500万元!OpenAI被曝已在破产边缘
提到生成式人工智能的突然流行,ChatGPT与其背后的OpenAI是无法绕过的两个名字。但目前有消息指出,OpenAI很可能已经在一步步走向破产,而原因正是让其名声大噪的ChatGPT。快科技8月13日消息,根据AnalyticsIndiaMagazine近日发布的一篇报告,ChatGPT服务每天就要消耗70万美元(约合人民币506万元)左右的成本。站长网2023-08-13 17:40:180001