谷歌推创新框架AGREE 可增强大模型生成内容准确性
站长网2024-06-11 18:06:500阅
谷歌研究院推出了一个名为AGREE的创新框架,旨在增强大型语言模型(LLM)生成内容和引用的准确性。这一框架通过检索文档中的相关段落来增强大模型生成回答的事实基础,并提供相应的引用,从而提高回答的准确性,并为用户提供验证信息真实性的途径。
核心技术:
训练阶段微调:使用基础大模型生成回答,并利用自然语言推理模型(NLI)评估段落是否支持特定声明。AGREE框架使用NLI模型从未标记的查询中自动构建训练数据集,通过匹配回答和检索到的文档,为每个声明找到最相关的支持性段落。
测试时自适应:一种动态、迭代的推理增强方法,帮助大模型在面对新的内容查询时,主动从大型语料库中检索相关信息,并对生成的回答进行补充和修正。
AGREE的工作流程:
在微调阶段,AGREE框架采用LORA的轻量级微调技术,通过在大模型的权重矩阵上添加低秩更新,实现高效且针对性的调整,减少计算资源消耗,同时保持模型泛化能力。
测试时自适应从接收到新查询开始,微调后的大模型根据训练阶段学到的知识生成初步回答,然后进入自动迭代过程,自我评估并识别需要额外支持的声明。
一旦识别出需要额外信息的声明,启动检索过程,在预构建的语料库中搜索相关段落,并将这些段落与先前回答结合,生成更完善、准确的内容。
实验结果:
研究人员在Llama-2-13b等知名大模型上进行了实验,结果显示AGREE在提升内容回答准确性和引用性方面表现突出。
论文地址:https://arxiv.org/pdf/2311.09533
0000
评论列表
共(0)条相关推荐
奇富科技与360智脑合作 推动大模型在金融行业应用
奇富科技与360智脑达成战略合作,加速完善金融行业大模型。双方将通过奇富GPT与360智脑的算法、算力、数据融合,优化奇富GPT并扩大其在金融业务中的应用场景。合作还包括讨论金融行业大模型的相关问题,并提出解决方案。奇富科技具有360集团的安全基因,可以在内容合规和安全性方面提供优势,同时通过与360智脑的合作,降低大模型的构建成本。站长网2023-08-10 09:37:310000挑战Intel/AMD!三星计划推出适用Windows PC处理器
快科技10月25日消息,三星目前正在考虑推出适用于WindowsPC的处理器。多年来,x86架构几乎是PC平台唯一的选择,PC处理器市场主要由Intel和AMD主导。2022年,该市场规模达到了380亿美元,其中英特尔的市场份额约为70%,AMD的市场份额约为30%。面对如此庞大的市场,三星自然也想要分一杯羹,打算制造基于Arm架构的PC芯片。站长网2023-10-25 20:09:38000017岁高中生做AI App,不到4个月入账百万美元,独立开发者迎来春天?
而如今,这种小概率事件正在发生。前几天打开X,我被CalAI刷屏了。创始人Zach发文表示,CalAI的收入超过了百万美元,而达成这一成绩的那一天,刚好是他高中开学第一天。他发出了“这就是命运吗?”的感慨......站长网2024-09-29 12:20:41000016家网约车平台被约谈:落实降低过高抽成比例要求
7月29日消息,据新华社报道,近日,交通运输新业态协同监管部际联席会议办公室组织对滴滴出行、高德打车、T3出行、曹操出行等共16家网约车平台、聚合平台公司进行约谈。0002东南亚走访弹:小杨哥、老罗都在布局的东南亚MCN,真赚钱吗?
进入2023年,出海圈似乎回到了2019年的状态,从业者开始更频繁地出国到本地市场考察和学习。四月初,白鲸出海的几位同事也到印尼、马来走了一圈,实地拜访了不少MCN、海外仓负责人和电商从业者。第一期,我们想聊聊印尼的MCN们。站长网2023-05-12 20:33:480000