研究显示 ChatGPT 4.0 在事实核查中优于谷歌 Bard、微软 Bing AI 等其他模型
站长之家(ChinaZ.com) 7月18日消息:大型语言模型(LLM)是自然语言处理(NLP)技术的进化,能够快速生成与人类写作相似的文本并完成其他简单的与语言相关的任务。自 OpenAI 发布高性能的 ChatGPT 之后,这些模型变得越来越受欢迎。

迄今为止,研究主要评估 LLM 的能力,例如创建写作流畅的文本、定义特定术语、撰写论文或其他文件以及生成有效的计算机代码。然而,这些模型在解决其他真实世界问题,包括假新闻和虚假信息方面也具有潜在的帮助。
威斯康星大学斯托特分校的研究员 Kevin Matthe Caramancion 最近进行了一项研究,评估迄今为止最知名的 LLM 能否检测新闻故事的真实性或虚假性。他在 arXiv 上发表的论文提供了有价值的见解,这可能有助于今后使用这些先进模型来对抗在线的错误信息。
Caramancion 告诉 Tech Xplore 说:「我最近的论文灵感来自于了解各种 LLM 在对抗错误信息方面的能力和局限性的需求。我的目标是通过一个受控模拟和已建立的事实核查机构作为基准,对这些模型的熟练程度进行严格测试,以辨别真实与虚构的能力。」
Caramancion 表示:「我们使用 100 个经过独立事实核查机构核实的新闻项目作为测试套件,评估了这些大型语言模型的性能。我们将每个新闻项目在受控条件下呈现给模型,然后将它们的回应分类为「真实」、「虚假」和「部分真实/虚假」。根据与独立机构提供的核实事实相比较,测量了模型的有效性。」
随着互联网和社交媒体的迅速发展,不管信息是真实还是虚假,错误信息已经成为近几十年来的一个重要挑战。许多计算机科学家一直在努力开发更好的事实核查工具和平台,使用户能够验证他们在网上阅读到的新闻。
尽管迄今为止已经创建和测试了许多事实核查工具,但仍缺乏一个被广泛接受和可靠的模型来对抗错误信息。作为他研究的一部分,Caramancion 致力于确定现有 LLM 在解决这一全球性问题方面的有效性。
他具体评估了四个 LLM 的性能,分别是 OpenAI 的 ChatGPT-3.0 和 ChatGPT-4.0、Google 的 Bard/LaMDA 和微软的 Bing AI。Caramancion 给这些模型提供了相同的事实核查过的新闻故事,然后比较它们在确定故事的真实性、虚假性或部分真实/虚假性方面的能力。
Caramancion 表示:「我们对主要 LLM 的区分事实和虚构能力进行了比较评估。我们发现 OpenAI 的 GPT-4.0 表现最佳,这暗示了较新的 LLM 的进步。然而,所有模型都落后于人类事实核查员,强调了人类认知不可替代的价值。这些发现可能导致更加关注开发用于事实核查的人工智能能力,同时确保与人类技能的平衡、共生整合。」
Caramancion 进行的评估表明,ChatGPT 4.0 在事实核查任务上明显优于其他知名的 LLM。进一步对更多虚假新闻进行测试的研究可能有助于验证这一发现。
研究人员还发现,人类事实核查员仍然优于他评估的所有主要 LLM。他的研究凸显了需要进一步改进这些模型或将它们与人类工作者的工作相结合,如果要将它们应用于事实核查工作。
Caramancion 补充说:「我的未来研究计划集中在研究人工智能能力的发展,重点是如何利用这些进展,同时不忽视人类独特的认知能力。我们的目标是改进我们的测试协议,探索新的 LLM,并进一步研究在新闻事实核查领域人类认知和人工智能技术之间的相互关系。」
当雷军和个体户都叫品牌主理人
当主理人这个词频繁地出现在大众视野,尤其经过小红书电商的重新定义和强调,不免让人心存疑虑:这个群体是全新的,还是原本就存在?背后的实质性内涵、对产业链的影响力,是否经得住被如此关注和放大?关于主理人的定义,没有标准答案。有人曾简单粗暴地说他们是「有腔调的个体户」。0000昆仑万维发布「天工 SkyAgents」AI Agent 开发平台
昆仑万维发布了一款名为「天工SkyAgents」的AIAgent开发平台,旨在帮助用户零代码打造自己的AI智能体。站长网2023-12-01 11:40:270001科大讯飞刘庆峰:明年上半年对标GPT4
2023亚布力中国企业家论坛第十九届夏季高峰会于8月25日至27日在深圳举行,科大讯飞创始人、董事长刘庆峰出席相关论坛。刘庆峰还表示,今年科大讯飞定了一个目标,到今年10月24号,科大讯飞将发布通用大模型,全面对标ChatGPT,且要实现中文全面超越,英文跟它相当。“坦白讲,今天我们跟它还有差距,但是我们很清楚,10月份就能赶上,明年上半年就对标GPT4。”站长网2023-08-26 17:26:180000东软推出添翼医疗领域大模型 及多款AI+医疗行业应用
据东软集团官方消息,近日,东软面向医疗领域推出多款AI医疗行业应用,包括添翼医疗领域大模型、飞标医学影像标注平台4.0、基于WEB的虚拟内窥镜等。添翼医疗领域大模型是东软基于30多年的医疗行业积累,构建的医疗垂直领域大模型,全面融入医疗行业解决方案、产品与服务,赋能医院高质量发展,引领医疗智能化转型。面向医生,添翼让诊疗更高效。站长网2023-06-21 14:36:200000腾讯云与方舟健客在AIGC等多个领域签署战略合作协议
9月21日,腾讯云与方舟健客在H2H医疗服务生态大会上正式签署战略合作协议。此次战略合作涵盖云基础设施、用户私域运营、医学科普内容以及AIGC(生成式人工智能)等多个领域,将共同塑造慢性病服务领域的新标杆。腾讯云表示,未来将不断通过多项自研AI技术及行业大模型能力,推动数智人等更多PaaS、SaaS产品升级,助力客户构建专属大模型及智能应用,加速模型产业落地。站长网2023-09-22 08:47:230000