谷歌推创新框架AGREE 可增强大模型生成内容准确性
站长网2024-06-11 18:06:500阅
谷歌研究院推出了一个名为AGREE的创新框架,旨在增强大型语言模型(LLM)生成内容和引用的准确性。这一框架通过检索文档中的相关段落来增强大模型生成回答的事实基础,并提供相应的引用,从而提高回答的准确性,并为用户提供验证信息真实性的途径。
![](https://i.zz5.net/images/article/2024/06/11/180650992.png)
核心技术:
训练阶段微调:使用基础大模型生成回答,并利用自然语言推理模型(NLI)评估段落是否支持特定声明。AGREE框架使用NLI模型从未标记的查询中自动构建训练数据集,通过匹配回答和检索到的文档,为每个声明找到最相关的支持性段落。
测试时自适应:一种动态、迭代的推理增强方法,帮助大模型在面对新的内容查询时,主动从大型语料库中检索相关信息,并对生成的回答进行补充和修正。
AGREE的工作流程:
在微调阶段,AGREE框架采用LORA的轻量级微调技术,通过在大模型的权重矩阵上添加低秩更新,实现高效且针对性的调整,减少计算资源消耗,同时保持模型泛化能力。
测试时自适应从接收到新查询开始,微调后的大模型根据训练阶段学到的知识生成初步回答,然后进入自动迭代过程,自我评估并识别需要额外支持的声明。
一旦识别出需要额外信息的声明,启动检索过程,在预构建的语料库中搜索相关段落,并将这些段落与先前回答结合,生成更完善、准确的内容。
实验结果:
研究人员在Llama-2-13b等知名大模型上进行了实验,结果显示AGREE在提升内容回答准确性和引用性方面表现突出。
论文地址:https://arxiv.org/pdf/2311.09533
0000
评论列表
共(0)条相关推荐
硬刚iPhone 15!曝华为Mate 60定档9月12日发布:与苹果同日
快科技8月21日消息,近日有多位爆料人士透露,华为秋季新品发布会将会定档9月12日,这次的主角自然是Mate60系列新旗舰。值得注意的是,这次的时间也刚刚好与苹果发布会是同天,此前消息称苹果将会在9月12日发布iPhone15系列。选择在这么一个日子发布,说明华为对于Mate60系列信心十足,就是要与iPhone15系列正面对抗,两大强者的交锋令人非常期待。站长网2023-08-21 15:04:220000ChatGPT月活15亿遥遥领先!50家企业厮杀6个月,白手起家占8成
【新智元导读】生成式AI大PK!50家企业上台竞争,ChatGPT遥遥领先,月活高达15亿。生成式AI爆火近一年,是时候来个年度大总结了!最近,国外一网站盘点了差不多一年以来所有生成式AI的数据,最后发现,ChatGPT遥遥领先。当然,这个结果也并不意外。要知道,在这快一年的时间里,生成式AI爆发式的涌现,统计数据中将近8成网站都是之前压根没有的。站长网2023-09-25 22:00:210000华人创业者推出AI视频生成工具Haiper,已融资千万美元
要点:1.Haiper是两位华人创业者建立的AI初创公司,提供自研AI模型的视频生成工具。2.创始人在牛津大学获得机器学习博士学位,有丰富的知识和实践经验。3.Haiper已完成两轮融资,最近一轮由OctopusVentures和5YCapital领投。站长网2024-03-07 15:18:400001一天卖了一个亿,谁在春节直播间闷声赚钱
春节长假,直播间不打烊刚刚过去的春节长假,可能是有史以来最“卷”的一次。各大电商平台的“年货节”“春节不打烊”活动开展得如火如荼,快递企业们也相继做出“春节也送货”的承诺。随着履约服务不断完善,春节期间的线上消费正逐渐成为常态,这让不少平台和商家看到了商机。而且相比传统电商平台,直播电商由于更贴近用户的休闲娱乐需求,在春节期间显露出了更大的潜力。站长网2024-02-19 09:13:290000网易有道云笔记免费用户最多登2台设备 升级VIP可解锁限制
快科技6月20日消息,网易旗下的有道云笔记本今天发布通知,将调整免费用户的多设备登陆政策,最多同时可登陆2台设备。有道云表示,为了让广大用户更加便捷地管理个人帐号,实现多帐号的自由切换,会员功能帐号快速切换”后续将对免费用户开放使用。其次,约有97%的用户常用设备不超过2台,因此有道云笔记本将对免费用户同时登录设备数量进行限制。站长网2023-06-21 14:36:200000