研究人员称,即使是最糟糕Claude AI版本也比GPT 3.5更好
文章概要:
1. 全球排名显示,Anthropic的Claude AI模型超越了OpenAI的GPT3.5,即使是最差版本也表现出色。
2. Claude模型在性能评估中获得高分,主要由LMSO组织的Chatbot Arena Leaderboard进行排名。
3. Claude模型在处理大规模上下文输入和长提示时表现出优势,引发了对AI聊天机器人在不同领域的实际应用的重要讨论。
10月6日,一场引人入胜的竞争正在AI行业内悄然展开,OpenAI的ChatGPT与Anthropic的Claude AI模型之间展开了激烈的角逐。负责创建Chatbot Arena和著名的Vicuna模型的大型模型系统组织(LMSO)刚刚更新了他们的Chatbot Arena排行榜,展示了每个AI聊天机器人与竞争对手相比的表现。结果显示,即使Anthropic的模型仍然免费使用,它也在性能上超越了OpenAI,成为了新的全球排名领头羊。
GPT-4是ChatGPT Plus和Bing AI背后的强大引擎,以最高分数位居榜首,为大型语言模型(LLM)设定了黄金标准。但随着排行榜的下滑,一个出人意料的劣势故事浮出水面。Anthropic的Claude模型——Claude1、Claude2和Claude Instant——都表现出色,超越了驱动ChatGPT免费版本的GPT-3.5引擎。这意味着Anthropic开发的每个大型语言模型都可以胜过ChatGPT的免费版本。
LMSO通过其精细的排名系统为这些模型的性能指标提供了见解。根据排行榜,GPT-4拥有1181的Arena Elo评分,远远领先于榜单,而Claude模型紧随其后,评分从1119到1155不等。另一方面,GPT-3.5的评分为1115。
为了排名这些模型,LMSO让它们在相似的提示下进行“比赛”。给出最佳答案的模型获胜,另一个模型失利。用户根据自己的喜好决定谁获胜,但他们永远不会知道哪些模型在竞争。
正如Decrypt之前报道的那样,虽然这不是LMSO排名的因素,但在ChatGPT Plus和Claude Pro之间的token处理能力差异也是Claude模型胜过GPT的主要优势。
基于Claude2LLM的Claude Pro可以处理高达100,000个信息token,而由GPT-4LLM提供支持的ChatGPT Plus则处理8,192个令牌,"我们回顾道。这种令牌处理能力的差异突显了Claude模型在处理广泛上下文输入方面的优势,这对于细致和丰富的用户体验至关重要。
此外,在处理长提示时,Claude2在效率上表现出优势,可以更有效地处理更大规模的提示。然而,在提示可比较的情况下,Claude1和Claude Instant提供了与GPT-3.5相似或略优的结果,展示了这些模型的竞争性质。借助Claude的上下文功能,初始不佳的答案可以通过更精细、更大和更丰富的提示得到显著改进。
开源模型在这场竞赛中也不遑多让。
WizardLM是一个在Meta的LlaMA-2上训练的拥有700亿参数的最佳开源LLM模型。紧随其后的是Vicuna33B和由Meta发布的原始LlaMA-2。
开源模型在AI领域的发展中发挥着重要作用,原因各种各样。它们可以在本地运行,使用户有机会对其进行微调,并使社区参与到完善模型的集体努力中。由于许可证的原因,它们运行成本更低,这就是为什么这个领域有数十种开源LLM模型,而只有少数专有模型的原因。
但AI聊天机器人的比赛不仅仅关乎数字,还关乎现实世界的影响。
随着聊天机器人在从客户服务到个人助手等各个领域的逐渐融入,它们的效能、适应性和准确性变得至关重要。由于Claude模型在排名上超越了GPT-3.5,企业和个人用户可能会发现自己在评估哪个模型最符合其需求时面临抉择。
出于对AI的担忧,亚马逊限制自助出版商每日最多发表3本书
文章概要:1.亚马逊宣布降低自助出版的每日书籍发表数量上限至3本,理由是对人工智能(AI)担忧。2.亚马逊称这一举措是为了防止滥用,尽管他们并未看到出版数量激增。3.亚马逊还发布了针对内容类型的指南,并要求创作者通知其有关AI生成内容,以控制AI对阅读、写作和出版的快速影响。站长网2023-09-21 12:18:100000曝iPhone 16 Pro Max 屏幕将增至 6.9 英寸 沿用钛合金金属
快科技10月4日消息,自iPhone12ProMax发布后,iPhone超大杯手机的屏幕便一直维持在6.69英寸。据最新消息,明年的iPhone16系列手机的屏幕将迎来改变,其中中不仅仅只有iPhone16Pro的屏幕尺寸会有所增加,iPhone16ProMax也将搭载更大尺寸的屏幕。0000马斯克:特斯拉2.5万美元电车项目进展顺利
特斯拉旗下的低成本电车项目取得了重大进展,马斯克在接受采访时透露,该车的售价将为2.5万美元,折合人民币约为17.9万元。这款新车将采用全新的汽车生产线,位于美国得克萨斯州的超级工厂,具有很高的生产效率和降低电动汽车生产成本的能力。马斯克表示,该生产线将代表超越地球上任何汽车工厂的生产技术水平,他每周都会审查该车型生产线的计划,认为这款车将代表的制造业革命将令人震惊。站长网2023-12-06 10:32:400000【专题丨福州万颐·智汇坊】520,拥抱爱,表达爱
520心动模式开启爱的抱抱主题摄影在传统节日里,与爱情婚恋有关的节日与520无关。520本是当代互联网与电商热潮中的营销产物,是促进和引导大家消费的“音译型自造节”。但大家对这个节日依然乐此不疲,因为每个人心中的渴望爱,渴望表达爱意。爷爷奶奶们也不例外。站长网2023-05-24 06:35:220003我国科研团队成功研制出“量子芯片温度计”
量子芯片运行对温度环境要求极为苛刻,如何实时监测温度变化,了解制冷机运行状态?近日,记者从安徽省量子计算工程研究中心获悉,国产量子计算超低温温度传感器研制成功,并已投入国产量子计算机中使用,科研人员形象地称其为“量子芯片温度计”。站长网2023-05-24 10:28:160000