亚马逊Alexa AI研究人员推QUADRo:超过44万个标注示例,增强QA系统的突破性资源
划重点:
- 🧠 人工智能和机器学习的能力使它们成功进入各行各业,尤其是大语言模型(LLMs)和问答系统的引入推动了人工智能社区的发展。
- 📘 提出了一个名为QUADRo的新型开放领域标注资源,旨在解决数据库问答系统中训练和测试数据不足的问题,提供了15,211个问题的30个相关问答对,总共超过44万个标注样本。
- 🛠 研究团队通过实验证明QUADRo在培训方法、输入模型配置和答案相关性等关键QA系统组件上的表现,为解决自动质量保证系统中的数据问题提供了有力支持。
人工智能(AI)和机器学习(ML)的能力使它们成功地渗透到几乎每个可能的行业。随着大语言模型(LLMs)和问答系统的引入,尤其是近年来,AI社区取得了巨大的进展。在自动问答(QA)系统的开发中,从包含问题-答案对的预先计算数据库中高效检索答案是一个常见的步骤。
研究指出了两种主要的QA范式:开放式书本和闭合式书本。开放式书本采用检索和阅读的两步过程,从庞大的文档语料库(通常是互联网)中获取相关材料,然后通过应用不同的模型和方法从获取的内容中提取解决方案。闭合式方法则更为最新,依赖于训练中学到的技能,这些模型通常基于Seq2Seq模型(如T5),在不使用外部语料库的情况下生成结果。
图源备注:图片由AI生成,图片授权服务商Midjourney
尽管闭合式技术表现出色,但它们对许多工业应用来说过于资源密集,对系统性能构成重大风险。数据库问答(DBQA)是另一种方法,它从预生成的问题-答案对数据库中检索答案,而不依赖于模型或大型语料库参数中包含的信息。
然而,DBQA技术在检索和排名模型开发方面面临着重要的问题,主要是由于现有资源在范围和内容上的不足。为了克服这些挑战,一组研究人员提出了一个名为QUADRo的数据集和模型,用于问答数据库检索。这是一个新的、开放领域的标注资源,专门用于训练和评估模型。
QUADRo包含15,211个输入问题的每个问题都有30个相关的问答对,总计超过44万个标注样本。对每对的重要性进行了二进制指示,与输入查询的关系明确标记。
研究团队进行了深入的实验,评估了该资源在与QA系统组件的几个重要方面的质量和特性。这些元素包括培训方法、输入模型配置和答案的相关性。实验证明了该方法在检索相关响应方面的出色表现,通过检查在该数据集上训练的模型的行为和性能。
总的来说,这项研究通过引入一个有用的资源并对其属性进行仔细评估,解决了自动质量保证系统中训练和测试数据不足的问题。对培训策略和答案相关性等重要元素的强调有助于更全面地了解这一领域。
论文网址:https://www.amazon.science/publications/quadro-dataset-and-models-for-question-answer-database-retrieval
不满裁决!马斯克将脑机接口公司注册地迁至内华达州
快科技2月11日消息,据媒体报道,特斯拉CEO埃隆马斯克已将其脑机公司Neuralink注册地迁至内华达州。据了解,此前因特斯拉股东提出质疑,特斯拉CEO埃隆马斯克在特斯拉的550亿美元薪酬计划被美国特拉华州衡平法院首席法官驳回。该法官认为,特斯拉2018年授予马斯克的巨额期权奖励方案有失公平,但马斯克早已拿满所有奖励,总价值超过550亿美元。0000谷歌摸鱼神器来了:推出AI会议替身,一键总结提问发言
饱受会议折磨的打工人,终于可以解放了!就在刚刚举办的GoogleCloudNext’23大会上,谷歌宣布了一系列科技新进展,最瞩目的要属其中的“开会AI替身”了。只需要一句“帮我参加”,AI就能替你开会,并在合适的时机发言提问:这样一来,即使开会时摸鱼,也不怕老板突然点名了(手动狗头)有网友狂喜,要是真有这个AI数字替身帮我天天开会,我生产力直接拉满!站长网2023-08-31 09:05:470000DeepMind将GPT-4变成工具制造者 推出LATM框架
GoogleDeepMind、普林斯顿大学和斯坦福大学的研究人员提出了一款LATM框架,可以将GPT-4等大型语言模型变为工具制造者(LATM,即LLMsAsToolMakers),能够生成自己的可重新使用的工具来处理新任务。这个框架包括两个关键阶段:工具制造:LLM作为工具制造者,专门为给定的任务设计工具(以Python函数形式实现)。站长网2023-05-31 10:50:450000谷歌Chrome用户可以在桌面浏览器上访问微软的Bing AI聊天
GoogleChrome用户现在可以在桌面浏览器上访问微软的BingAI聊天和AI驱动的搜索结果。几个月来,只有登录微软账户的用户才能通过Bing应用或微软Edge浏览器访问AI聊天界面。现在,你可以在接受服务条款和确认AI聊天机器人的隐私声明后,在除Edge之外的其他浏览器上与BingAI聊天。站长网2023-07-25 15:51:430000微信:从严治理卖惨诱导打赏、虚假贫困摆拍等行为
微信发布《关于加强网络不良信息治理的公告》称,为进一步规范自媒体行为,平台持续对各类网络不良信息开展深入治理。平台针对散布虚假谣言信息,卖惨诱导打赏,虚假贫困摆拍等行为进行从严治理,并进一步加强对宣扬鼓吹“丧文化”和散布不良价值观等内容的治理。站长网2023-06-09 20:57:080000