研究发现 52% 的 ChatGPT 编程问题回答错误
划重点:
- 研究人员发现,ChatGPT 生成的编程问题答案中有52% 是错误的。
- ChatGPT 的答案在语言上更正式和分析性更强,但存在信息不准确、冗长和与人类答案不一致的问题。
- 尽管存在严重缺陷,但许多人类程序员更偏好 ChatGPT 的答案。
在过去的几年里,计算机程序员纷纷转向诸如 OpenAI 的 ChatGPT 之类的聊天机器人来帮助他们编码,这对 Stack Overflow 等网站造成了打击,导致其去年不得不裁员近30% 的员工。然而,问题在于,普度大学的研究团队在计算机 - 人类交互会议上发布了研究成果,发现 ChatGPT 生成的编程问题答案中有52% 是错误的。
图源备注:图片由AI生成,图片授权服务商Midjourney
对于一个人们依赖于准确性和精确性的程序来说,这一比例是惊人的,这也突显出其他最终用户如作家和教师所经历的问题:像 ChatGPT 这样的 AI 平台经常在空中凭空产生完全错误的答案。研究人员在研究中回顾了517个 Stack Overflow 的问题,并分析了 ChatGPT 尝试回答这些问题的结果。他们写道:“我们发现52% 的 ChatGPT 答案包含错误信息,77% 的答案比人类答案更冗长,78% 的答案与人类答案存在不同程度的不一致”。
该团队还对随机选择的2000个 ChatGPT 答案进行了语言分析,发现这些答案 “更正式和分析性更强”,同时表现出 “更少的负面情绪” —— 这是 AI 倾向于产生的单调而愉快的语气。尤其令人担忧的是,许多人类程序员似乎更喜欢 ChatGPT 的答案。普度大学的研究人员对12名程序员进行了调查,并发现他们以35% 的比例更倾向于选择 ChatGPT,并且在39% 的情况下没有发现 AI 生成的错误。
为什么会发生这种情况呢?这可能只是因为 ChatGPT 比在线人更有礼貌。研究人员写道:“后续的半结构化访谈揭示出,礼貌的语言、文雅而教科书般的回答方式以及全面性是 ChatGPT 答案看起来更具说服力的主要原因之一,因此参与者放低了警惕,忽略了 ChatGPT 答案中的一些错误信息”。
这项研究表明,ChatGPT 仍然存在重大缺陷,但这对于被 Stack Overflow 裁员的人或者不得不纠正 AI 生成的代码错误的程序员来说是一个苦涩的安慰。
Youtube transcript:超好用的YouTube 转录工具
YouTube转录工具是一个免费的在线工具,可将YouTube视频转化为准确的文字转录和字幕。无论您是学生、研究人员、内容创作者还是SEO专业人员,都可以轻松生成准确的转录和字幕。官网地址:https://www.transcriptdownload.com/核心功能:1.获取和复制YouTube转录:通过一键操作,快速获取并复制YouTube视频的转录文本。站长网2023-07-25 16:18:400000小米14发布:搭载全新澎湃OS,Pro版用上钛金属
小米战略升级至「人车家全生态」,澎湃OS正式上线,还有特别的内存扩容技术。今年的安卓旗舰手机,比往年来得要更早一些。双十一还没到,10月26日晚的发布会上,小米14系列手机就正式发布了。在发布会上,雷军宣布了小米集团的全新战略升级:从「手机XAIoT」,升级到了「人车家全生态」。小米计划从个人设备到智能家居,再到智能出行,打造以人为中心,构建起「人车家全生态」的智能世界。站长网2023-10-28 13:49:230000马斯克成立新的人工智能公司 xAI:旨在了解「宇宙的真实本质」
埃隆·马斯克(ElonMusk),特斯拉(Tesla)和SpaceX的首席执行官,以及Twitter的所有者,于周三宣布推出一家新的人工智能公司,名为xAI,旨在「了解宇宙的真实本质」。根据该公司的网站,马斯克和他的团队将在周五通过TwitterSpaces直播聊天来分享更多信息。xAI网站截图站长网2023-07-13 21:47:380003今日AI:已有人抢先体验GPT-5;意念操控成真!瘫痪8年小哥秒变X教授;微软也来复刻Sora;谷歌开放Gemini1.5Pro的API支持
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/📰🤖📢AI新鲜事羡慕!已有人抢先体验GPT-5性能大飞升!【AiBase提要:】⭐️OpenAI向客户提供GPT-5体验版本,红队测试进行中,夏季发布预计最快。站长网2024-03-22 10:03:380000贾扬清的500行代码,掀翻了Perplexity5.2亿的桌子?
500行代码VS估值5亿1月25日,自从宣布创业后就备受社区瞩目的贾扬清,在推特上展示了一个对话式搜索引擎的demo。站长网2024-02-01 14:00:320000