Vectara排行榜:OpenAI的GPT-4在文档摘要中幻觉率最低
**划重点:**
1. 📊 Vectara的排行榜显示,OpenAI的GPT-4在文档摘要中具有最低的幻觉率,准确率为97%。
2. 🚀 GPT-4和GPT-4Turbo表现最佳,GPT-3.5Turbo排名第二,Meta Llama为最高得分的非OpenAI模型,而Google Palm排名最后。
3. 🛠 Vectara发布了开源模型,允许任何人检查其大型语言模型的幻觉率,以提高生成式AI系统的可信度。
在一项由Vectara进行的开源模型评估中,OpenAI的GPT-4在文档摘要中表现卓越,凭借其出色的97%准确率和令人瞩目的3%的幻觉率,成为幻觉率最低的大型语言模型。
Vectara在GitHub上发布了一个排行榜,评估了一些大型语言模型在其“Hallucination Evaluation Model”上的表现,该模型衡量了语言模型在摘要文档时引入幻觉的频率。
排名第一的是GPT-4和GPT-4Turbo,它们分别以97%的准确率和3%的幻觉率脱颖而出。另一款OpenAI模型,GPT-3.5Turbo,排名第二,其准确率为96.5%,幻觉率为3.5%。
在非OpenAI模型中,最高得分的是Meta的Llama2,具有70亿参数,准确率达到94.9%,幻觉率仅为5.1%。
然而,谷歌的模型表现相对较差,Google Palm2的准确率为87.9%,幻觉率为12.1%。Palm的聊天优化版本表现更差,准确率仅为72.8%,幻觉率则高达27.2%。
在摘要长度方面,Google Palm2Chat生成的平均摘要字数最高,达到惊人的221个字。相比之下,GPT-4仅生成每个摘要81个字。
Vectara是一家总部位于Palo Alto的公司,他们通过使用开源数据集培训了一个模型,以检测大型语言模型输出中的幻觉。该公司通过其公共API向每个模型提供了1000个短文档,并要求它们仅使用文档中呈现的事实进行摘要。
在这1000个文档中,只有831个被每个模型摘要,其余的文档由于内容限制被至少一个模型拒绝。Vectara随后计算了每个模型的总体准确率和幻觉率。
Vectara的“Hallucination Evaluation Model”是开源的,意味着企业可以使用它来评估其大型语言模型在检索增强生成(RAG)系统中的可信度。用户可以通过Hugging Face访问该模型,并根据自己的需求进行调整。
项目网址:https://huggingface.co/vectara/hallucination_evaluation_model
Shane Connelly,Vectara的产品负责人在博客中写道:“幻觉的风险阻碍了许多企业采用生成式AI。我们的目标是通过量化分析为企业提供他们需要的信息,使他们能够通过有信心地启用生成系统。”
周鸿祎:别小看直播网红经济 俞敏洪吃着火锅唱着歌就把地方文旅带火了
快科技2月15日消息,今日,360创始人周鸿祎发微博称,不能小看直播和网红经济,俞敏洪吃着火锅唱着歌就把一个地方的文旅给带火了。他表示,最近各地的文旅部门都在争当网红。前段时间哈尔滨引发热潮,随后河南也兴起了很多网红。针对这些现象,周鸿祎认为,将来很多央国企,肯定也有这样的需求。对于他个人,目前还没有思考这些网红经济的商业模式,因为他还没有到1000万粉丝。0000Cohere 推出适用于企业LLM应用的Embed V3
要点:Cohere推出EmbedV3,这是其嵌入模型的最新版本,旨在帮助企业构建大型语言模型(LLM)应用程序,具有增强的数据压缩功能。EmbedV3在语义搜索和利用大型语言模型(LLMs)的应用程序方面与OpenAI的Ada和各种开源选项竞争,承诺卓越的性能和增强的数据压缩。站长网2023-11-03 10:37:250000微信不能改名文件传输助手!女子被好友改名文件传输助手骗5年
近日,一起#女子被好友改名文件传输助手骗5年#的事件引发了广泛热议。据女子描述,她竟然在长达五年的时间里,将一个故意改名为“文件传输助手”的好友误认为是真正的微信文件传输助手,并向其发送了各种私人信息,包括身份证、照片和视频等敏感内容。目前,该女子已经向警方报案,并且该仿冒的微信账号也已被投诉并封禁。站长网2024-02-28 15:10:180000YouTube计划推新AI工具:让你可以模仿自己偶像的声音
划重点:1.YouTube计划推出一项新的AI工具,允许用户录制音频,模仿他们最喜欢的艺术家的声音。2.尽管细节有限,但YouTube已与音乐公司接触,以获取歌曲版权来培训该工具。3.人工智能在音乐领域的应用引发了一系列问题,包括内容限制、变现化和艺术家权益。站长网2023-10-20 17:06:370000摩根士丹利:随着 Edge AI 走向主流,苹果处于最有利的位置
在人工智能(AI)成为2023年的热门话题之际,投资公司摩根士丹利的一份新报告得出结论,尽管苹果对其AI技术的发展讳莫如深,但该公司已准备好在消费者开始广泛采用基于AI的工具时获得利润。摩根士丹利认为,苹果在AI领域的进展超出了公众的预期,并可能在2024年成为「EdgeAI(边缘AI)」领域的六大「关键受益者」之一。站长网2023-11-09 18:08:120006