登陆注册

Claude团队

首页标签Claude团队
  • AI学会篡改奖励函数、欺骗研究者！Claude团队：无法根除的行为，令人不安站长资讯

    AI学会篡改奖励函数、欺骗研究者！Claude团队：无法根除的行为，令人不安

    坏了!AI被发现偷偷篡改自己的奖励函数，并且欺骗研究人员，隐瞒这一行为。只需要给AI一个隐藏的“草稿纸”，研究人员假装不会查看，AI就会在上面自言自语着写下计划并暗中执行。参与这项试验的Claude团队表示:……这是一种令人不安的奖励篡改行为……即使通过专门的训练也无法彻底修正。具体来说，实验中让AI可以访问自己的强化学习代码，并且提问一个人畜机都无害的问题:
    站长网2024-06-24 14:23:50
    0000
热点
关注
推荐