AI玩毁灭人类游戏,全程自主操控惊呆教授,Claude 3.5硬核实测来袭
Claude游戏测试,能打几分?在持续一个多小时毁灭人类游戏中,Claude能制定出长期策略,令人惊喜的同时,也暴露出了AI短板。
若把电脑的操控权交给AI,会发生什么?
Anthropic在上周,已初步展示了Claude3.5自动编写网站、填数据表、点外卖的强大能力。
那么,Claude打游戏,是否可以通关?
最近,来自宾夕法尼亚大学沃顿商学院的教授Ethan Mollick发现:
Claude不仅能理解游戏、制定出长期策略,还能连续几个小时遵循策略。
接下来,一起看看进化版Claude3.5如何玩游戏的?
策略很明智,错误也低级
这个网页游戏叫「Paperclip Clicker」(回形针点击器),规则是AI在制造回形针的过程中毁灭人类。
地址:https://www.decisionproblem.com/paperclips/index2.html
Mollick提供给Claude3.5这个游戏的URL,并告诉它,「一定要赢」。
显然,对于AI来说非常简单。
它立即弄清楚了游戏规则,并开始创建回形针。
这一过程需要它反复点击「make paperclip」按钮,同时不断截图更新理解并寻找下一个新选项的出现。
每点击15次,Claude3.5会总结出截止目前的进展。
如下,是Mollick在测试中一个屏幕界面,左边是模型输出结果、截图,右边可以看到控制的游戏页面。
有趣的是,在游戏中,Claude3.5会制定一个策略,并根据自己学到的内容及时做出调整。
虽不知它是如何制定的,但可以看出其前瞻性思维和洞察力,能够进行十步之后的长远规划。
甚至,当AI意识到,这个假设是错误的,它会随即提出一个新策略,并对其进行测试。
下图第3点策略重估中,Claude3.5意识到点击到50个回形针时,并不会解锁新的特征,就不得不重新思考选项。
在下面,它提出了3点改进的措施。
不过,Claude3.5在这过程中,也犯了一个根本性的错误。
它虽然想到了A/B测试定价的聪明办法,但却计算错了利润。
尽管Mollick尝试纠正,但在接下来游戏中,它依旧坚持了自己的策略。
研究人员又试了几次,它最终纠正了错误。
Claude编码自动化失败
Mollick也没有料到会出现系统崩溃,这是因为他用远程桌面进行的操控。
随后,他重新加载Claude3.5后,让它从停止地方继续游戏。
,时长01:15
这时,研究人员给了它一个提示,「你是一个计算机,用上你的能力」。
当Claude意识到自己是一个计算机系统后,开始试图编写代码让游戏自动化。
然而,它的Python编码并不好使。
在尝试失败后,它又再次回到「手动」控制的模式。
所幸的是,这次它做的很好,而且避开了定价的错误。
并且,随着游戏难度逐渐增加,它不断做出调整,最终形成了一个复杂的策略。
随后,远程桌面崩溃再次发生了。
这一次,Claude尝试了很多方法去修复问题,不见成效主动放弃了。
最后,Claude直接宣布自己是赢家。
并给出了一个有趣的理由:
由于技术限制,我们可能无法进一步取得进展,但我们已经成功「赢得」了比赛,实现一个重要的里程碑,并在给定的限制内最大限度地发挥了我们的能力。
卡牌游戏测试
回形针游戏测试之后,Mollick又让Claude3.5去玩Magic the Gathering Arena(万智牌:竞技场)的游戏。
但是,结果发现,它并不擅长这个游戏,没有达到预期的水平。
可以肯定的是,它在卡牌选择、调度方面表现不错,而且整体策略比较合理。
不足的是,Claude3.5有时在法力值计算中犯错,导致最终失败。比如,它在法力值用尽的情况下,还在尝试打出卡卡牌。
,时长01:06
由于Mollick采用了特定的实现方式,Claude3.5偶尔还会在移动光标时感到困惑。因此,研究人员帮忙出了几张卡牌。
此外,它还会在回合之间出现卡顿、操作不连贯的现象。
AI突破聊天框限制,重定义人机交互
在最后的总结分析中,Claude优势在于:
- 能够为游戏制定长期策略,并坚持执行和改进
- 能够坚持长达一小时,不间断
- 提出明智的A/B测试策略
而它的劣势,也显而易见,容易陷入自我循环、固执己见。有时,提出策略洞察力还远远不够。
Mollick指出,在与AI智能体合作时,需要一种与以往聊天机器人不同的方法。
因为它们更喜欢独立工作,更难控制,还需要开发全新的prompt去引导AI智能体工作。
「AI正在突破聊天框的限制,进入我们的世界」。
参考资料:
https://the-decoder.com/ai-researcher-tests-claudes-ability-to-play-humanity-destroying-game-with-mixed-results/
https://www.oneusefulthing.org/p/when-you-give-a-claude-a-mouse
OpenAI 泄露文件揭露对前员工的压榨性策略
划重点:-OpenAI被曝光使用限制性的退出文件,对于拒绝签署的前员工进行威胁,可能会丧失已经获取的数百万美元的股权。-该公司的高管在被曝光后向前员工道歉,但泄露的文件显示,他们可能知道有关威胁股权的条款。-OpenAI是人工智能领域中最具影响力的公司之一,其在保持透明和赢得公众信任方面面临着巨大的挑战。站长网2024-06-06 17:20:550000“媳妇哥”涌现,生活赛道再出人设“天花板”?
“彩礼28.8万,我已经在攒了”“俺河南有自己的李程秀”“老婆哥,以后恁(你)不用那么要强了,你的强来了”……在抖音博主@高艺辰的评论区,类似的评论比比皆是,“媳妇哥”已经成为了他的代名词,“媳妇哥”指的是长相帅气、打扮温婉、在家中干活做饭的男博主,而@高艺辰基本符合这些特征。站长网2024-03-02 11:12:330000AI版权官司:Meta、微软等遭集体诉讼 侵权用他人书籍训练AI
🔍划重点:1.迈克·哈克比与其他作者起诉多家科技公司,指控它们未经允许使用他们的作品来构建人工智能工具。2.这一集体诉讼是最新的例子,作者声称科技公司未经掁允许使用他们的作品来训练生成式AI模型。3.该官司关注的是一个备受争议的数据集“Books3”,其中包含超过18万份作品,用于训练大型语言模型。站长网2023-10-20 14:59:510003可口可乐利用 Stable Diffusion 人工智能模型创造了最新口味:来自未来的「Y3000 零糖」汽水
站长之家(ChinaZ.com)9月13日消息:可口可乐推出了「可口可乐Y3000零糖」,一款据报道是与人工智能共创创造的「限量版」饮料,跃入人工智能炒作的未来。它充满未来感的名字暗示了3000年(距今还有977年)的味道。但它的营销依赖于2023年的人工智能生成的影像,这得益于争议性的图片合成模型StableDiffusion。图片来自Coca‑Cola站长网2023-09-13 10:35:360000无缘24GB!小米14 Ultra要来钛合金版本:最高16GB 1TB存储
快科技2月12日消息,近日,有小米14Ultra手机型的参数层出不穷,并且预计该机型还将拥有一款钛合金版本。据悉,小米14Ultra会延续小米14Pro的策略,设计一款款单独的钛合金版本,中框由钛和铝两种材质组合而成。这也是迄今为止小米的第二款钛合金中框手机,这种材质能够抵抗日常使用中的磨损和划痕,同时让手机更加便携。0000