谷歌推出ASPIRE框架 让大模型具备自我判断意识
站长网2024-02-07 09:40:450阅
谷歌最近推出了一项名为ASPIRE的自适应评估框架,旨在帮助大型语言模型在面对置信度较低的样本时做出正确的判断。这个框架的核心技术思路是基于自我评估的选择性预测,通过任务定向微调、答案采样和自我评估学习三大模块来实现。
论文地址:https://aclanthology.org/2023.findings-emnlp.345.pdf?ref=maginative.com
具体来说,任务定向微调能够通过使用目标任务的训练数据对模型进行微调,提高其在特定任务上的性能。答案采样则可以生成多个候选答案,并评估其概率分布,以帮助模型判断答案的可靠性。自我评估学习则通过学习自我评估能力,让模型能够更好地区分正确和错误答案,从而提高选择性预测性能。
实验数据显示,ASPIRE在不同数据集上均表现出了良好的性能。例如,在CoQA数据集上,ASPIRE框架将答案的准确性提升了,并且能够减少错误答案的生成;在TriviaQA数据集上,通过设置选择性分数阈值,ASPIRE能够更准确地判断出哪些问题的答案不可靠,从而避免生成错误答案;在Natural Questions数据集上,ASPIRE成功降低了错误答案的比例,提高了答案的质量。这些实验证明了ASPIRE框架的高效性和可行性,为大型语言模型的应用提供了重要的支持和保障。
ASPIRE框架的推出填补了大型语言模型在置信度校准方面的空白,为其在实际应用中的稳定性和准确性提供了有力保障。随着这一框架的不断完善和应用,相信大型语言模型在各个领域的表现将会更加出色,为人们带来更好的体验和服务。
0000
评论列表
共(0)条相关推荐
2023年,自媒体的日子更艰难了
1、2023年自媒体日子更艰难了。前段时间有同行说,一些百万粉的头部公众号都难接单了,有的在调低刊例价,有的不得不接一些过去不愿接的广告。很多人盼着疫情结束了市场会景气起来,但疫情真结束了才发现行情更差了。站长网2023-04-13 09:04:580000Gartner发布2024年十大战略技术趋势:包括全民化的生成式AI
日前,Gartner公布了2024年需要探索的10大战略技术趋势列表。Gartner杰出研究副总裁兼研究团队负责人ChrisHoward表示:“IT领导者和其他高管必须评估战略技术趋势的影响与益处,但由于技术创新的速度日益加快,这并非易事。例如生成式AI和其他类型的AI虽然带来了新的机遇并推动了若干趋势的发展,但要想通过长期使用AI获得业务价值,还需要采取严谨的方法广泛采用AI并注意风险。”站长网2023-10-18 23:03:080000IBM 宣布扩大与亚马逊 AWS 合作关系:为客户提供生成式 AI 解决方案和专业知识
站长之家(ChinaZ.com)10月19日消息:IBM今日于官网发布新闻稿宣布,扩大其与亚马逊云服务(AWS)的合作关系,以帮助更多共同客户实施生成人工智能(AI)并从中获取价值。图片来自IBM站长网2023-10-19 09:56:300000无人驾驶公司Oxa融资1.4亿美元 希望利用AI改善通勤体验
文章概要:1.Oxa是无人驾驶领域的初创公司,完成了1.4亿美元C轮融资2.它与Beep合作,在佛罗里达推出自动驾驶班车3.Oxa认为自动驾驶单人轿车难以改善拥堵状况无人驾驶汽车正在蓬勃发展,Oxa就是该领域的一家初创公司。它刚完成1.4亿美元的C轮融资,与交通科技公司Beep合作,准备在佛罗里达推出自动驾驶班车,未来可能扩展到北卡罗来纳和加利福尼亚等地。站长网2023-09-04 11:35:300000单月涨粉40万,“赛博唐僧”是如何炼成的?
不久前,一位“唐僧”现身成都欢乐谷万圣节活动,在互联网掀起一场关于西游记的“文艺复兴”。他身着红色袈裟、头戴毗卢冠,动不动就一脸窝囊样地摇头摆手,被“女妖精”搭讪不敢直视,被万圣节的“妖魔鬼怪”吓到,跟在“观音”的后面做小弟,不仅长得酷似86版《西游记》中的唐僧扮演者徐少华,神态和一举一动也十分相似。站长网2023-12-08 16:52:280000