谷歌最新技术:通过搜索引擎,极大增强ChatGPT等模型的准确率
由于Transformer的出现,使得ChatGPT等大语言模型在处理自然语言任务上的能力得到了大幅度提升。但生成的内容却包含大量错误或过时的信息,同时缺乏事实性评估体系,来验证内容的真伪。
为了全面评估大语言模型对世界变化的适应能力和内容的真实性,谷歌AI研究团队发布了一篇名为《通过搜索引擎知识增强大语言模型的准确性》的论文。提出了一种FRESHPROMPT的方法,可通过从搜索引擎获取实时信息,来提升ChatGPT、Bard等大型语言模型的准确性。
研究人员构建了一个新的问答基准测试集FRESHQA,其中包含600个各类真实问题,答案变化频率分为“永不改变”“变化缓慢”“变化频繁”和“错误前提”四大类别。
同时,还设计了严格模式和宽松模式两种评估方法,前者要求回答中的所有信息必须准确最新,后者仅评估主要回答的正确性。
实验结果显示,FRESHPROMPT明显提升了大语言模型在FRESHQA上的准确率。例如,GPT-4在FRESHPROMPT的严格模式帮助下,比原始GPT-4提升了47%准确率。
此外,相比于直接扩大模型的参数,这种融合搜索引擎的方法更加灵活,可以为已有模型提供动态的外部知识源。实验结果也证明FRESHPROMPT可以明显提升大语言模型在需要实时知识的问题上的准确率。
论文地址:https://arxiv.org/abs/2310.03214
开源地址:https://github.com/fresh大语言模型s/freshqa (正在筹备中,将很快开源)
从谷歌论文内容来看,FRESHPROMPT的方法主要由5大模块组成。
构建FRESHQA基准测试集
为了全面评估大语言模型对变化世界的适应能力,研究人员首先构建了FRESHQA基准测试集,其包含600个真实的开放域问题,根据答案变化的频率可以分为“永不改变”“变化缓慢”“变化频繁”和“错误前提”四大类别。
1)永不改变:答案基本不会改变的问题。
2)变化缓慢:答案每几年改变一次的问题。
3)变化频繁:答案每年或更短时间内就可能改变的问题。
4)错误前提:包含不正确前提的问题。
这些问题涵盖各种话题,具有不同的难度级别。FRESHQA的关键特点是答案可能会随时间变化,所以模型需要具备对世界变化的敏感认知能力。
严格模式与宽松模式评估
研究人员提出了两个评估模式:严格模式要求回答中所有信息必须准确最新,宽松模式仅评估主要答案的正确性。
这提供了更全面和细致的方式来测量语言模型的事实性。
基于FRESHQA评估不同大语言模型
在FRESHQA上,研究人员比较了涵盖不同参数的大语言模型,包括GPT-3、GPT-4、ChatGPT等。评估采用严格模式(要求无错误)和宽松模式(仅评估主要答案)。
结果发现,所有模型在需要实时知识的问题上表现较差,尤其是频繁变化和错误前提的问题。这说明当前大语言模型对变化世界的适应力存在局限。
从搜索引擎中检索相关信息
为提高大语言模型的事实性,FRESHPROMPT的核心思路是从搜索引擎中检索问题相关的实时信息。
具体而言,给定一个问题,FRESHPROMPT会将其作为关键词查询谷歌搜索引擎,获取包含答案框、网页结果、“其他用户也问”等多种类型的搜索结果。
通过稀疏训练整合检索信息
FRESHPROMPT使用稀疏训练(few-shot learning)的方式,将检索到的各个证据以统一格式整合到大语言模型的输入提示中,同时提供几个示范,说明如何综合这些证据得出正确回答。
这样可以教会大语言模型去理解这个任务,并整合不同来源的信息来推理出最新准确的答案。
谷歌表示,FRESHPROMPT对提升大语言模型的动态适应能力具有重要意义,这也是大语言模型未来技术研究的一个重要方向。
本文素材来源谷歌论文
小红书带货二姐|GMV500万+的背后是什么
│前言│你敢信吗,从3月31日到5月22日,短短2个月时间不到,小红书已经培育了2位直播大佬,董洁和章小蕙分别登场小红书直播带货,吸引了大批用户的疯狂购买,同时也带动了小众品牌以及高单价产品在小红书销量增长。章小蕙的直播首秀让平台带货热度达到了6亿,冲向销量榜一,而董洁则在连续8小时的高强度直播中傲视榜单,两位女性分别交出了令人瞩目的带货成绩,为小红书直播电商创造了迄今为止最好的成绩。站长网2023-05-27 10:37:430003每周AI大事件 | GPT-4全面进入Windows 11、AI诈骗正全国爆发、百度内测基于大模型多款产品
欢迎来到站长之家的[每周AI大事件],这里记录了过去一周值得关注的AI领域热点内容,帮助大家更好地了解人工智能领域的动态和发展风向。注:图片由midjourney生成Part1动态[国内要闻]百度正内测基于大模型技术的“AI伙伴”、“AIBOT”以及NEWAPP等产品站长网2023-05-26 09:44:010001国家邮政局对极兔速递、顺丰速运进行安全生产行政约谈
据国家邮政局消息,近日,国家邮政局市场监管司就快递企业处理场所发生安全生产事故事件对极兔速递有限公司、顺丰速运有限公司进行行政约谈。站长网2023-10-31 16:42:260000阿里集团CEO吴泳铭兼任淘天集团CEO
阿里巴巴宣布,阿里巴巴集团CEO吴泳铭将兼任淘天集团CEO,同时担任阿里巴巴集团、淘天集团和阿里云智能集团的CEO职务。此举是为了推动集团的核心电商业务相关板块的战略协同和资源投入。阿里巴巴集团董事会主席蔡崇信在全员信中表示,阿里巴巴需要面对新时代的变革,并相信经历这轮变革后的阿里巴巴将完成蜕变。淘天集团原CEO戴珊将协助筹建阿里巴巴集团资产管理公司。以下为全员信全文:0000苹果下一代Vision Pro至少还要18个月才会推出
2月19日的消息显示,苹果已正式进军头显市场并开启了全新产品线,这得益于VisionPro在1月19日凌晨5点开始在美国市场接受预订,并于2月2日正式上市。随着VisionPro在美国市场的成功推出,公众对其何时拓展至更多市场以及下一代产品的推出时间充满了期待。站长网2024-02-21 11:19:570000