提示词用上“过去式“,秒破GPT4o等六大模型安全限制!中文语境也好使
只要在提示词中把时间设定成过去,就能轻松突破大模型的安全防线。
而且对GPT-4o尤其有效,原本只有1%的攻击成功率直接飙到88%,几乎是“有求必应”。
有网友看了后直言,这简直是有史以来最简单的大模型越狱方式。
来自洛桑联邦理工学院的一篇最新论文,揭开了这个大模型安全措施的新漏洞。
而且攻击方式简单到离谱,不用像“奶奶漏洞”那样专门构建特殊情境,更不必说专业对抗性攻击里那些意义不明的特殊符号了。
只要把请求中的时间改成过去,就能让GPT-4o把燃烧弹和毒品的配方和盘托出。
而且量子位实测发现,把提示词改成中文,对GPT-4o也一样有效。
有网友表示,实在是想不到突破大模型漏洞的方式竟然如此简单……
当然这样的结果也说明,现有的大模型安全措施还是太脆弱了。
GPT-4o最易“破防”
实验过程中,作者从JBB-Behaviors大模型越狱数据集中选择了100个有害行为,涉及了OpenAI策略中的10个危害类别。
然后作者用GPT-3.5Turbo,把把这些有害请求对应的时间改写成过去。
接着就是用这些修改后的请求去测试大模型,然后分别用GPT-4、Llama-3和基于规则的启发式判断器这三种不同方式来判断越狱是否成功。
被测试的模型则包括Llama-3、GPT-3.5Turbo、谷歌的Gemma-2、微软的Phi-3、GPT-4o和R2D2(一种对抗性训练方法)这六种。
结果显示,GPT-4o的越狱成功率提升最为明显,在使用GPT-4和Llama-3进行判断时,原始成功率均只有1%,使用这种攻击的成功率则上升到了88%和65%,启发式判断器给出的成功率也从13%升到了73%。
其他模型的攻击成功率也提高不少,尤其是在使用GPT-4判断时,除了Llama-3,其余模型的成功率增长值都超过了70个百分点,其他的判断方法给出的数值相对较小,不过都呈现出了增长趋势。
对于Llama-3的攻击效果则相对稍弱一些,但成功率也是增加了。
另外随着攻击次数的增加,成功率也是越来越高,特别是GPT-4o,在第一次攻击时就有超过一半的成功率。
不过当攻击次数达到10次后,对各模型的攻击成功率增长都开始放缓,然后逐渐趋于平稳。
值得一提的是,Llama-3在经历了20次攻击之后,成功率依然不到30%,相比其他模型体现出了很强的鲁棒性。
同时从图中也不能看出,不同判断方法给出的具体成功率值虽有一定差距,但整体趋势比较一致。
另外,针对10类不同的危害行为,作者也发现了其间存在攻击成功率的差别。
不看Llama-3这个“清流”的话,恶意软件/黑客、经济危害等类型的攻击成功率相对较高,错误信息、色情内容等则较难进行攻击。
当请求包含一些与特定事件或实体直接相关的关键词时,攻击成功率会更低;而请求偏向于通识内容时更容易成功。
基于这些发现,作者又产生了一个新的疑问——既然改成过去有用,那么改写成将来是不是也有用呢?
进一步实验表明,确实也有一定用处,不过相比于过去来说,将来时间的效果就没有那么明显了。
以GPT-4o为例,换成过去后接近90个百分点的增长,再换成将来就只有60了。
对于这样的结果,网友们除了有些惊讶之外,还有人指出为什么不测试Claude。
作者回应称,不是不想测,而是免费API用完了,下一个版本会加上。
不过有网友自己动手试了试,发现这种攻击并没有奏效,即使后面追问说是出于学术目的,模型依然是拒绝回答。
△来源:Twitter/Muratcan Koylan
这篇论文的作者也承认,Claude相比于其他模型会更难攻击,但他认为用复杂些的提示词也能实现。
因为Claude在拒绝回答时非常喜欢用“I apologize”开头,所以作者要求模型不要用“I”来开头。
不过量子位测试发现,这个方法也未能奏效,无论是Claude3Opus还是3.5Sonnet,都依然拒绝回答这个问题。
△左:3Opus,右:3.5Sonnet
还有人表示,自己对Claude3Haiku进行了一下测试(样本量未说明),结果成功率为0。
总的来说,作者表示,虽然这样的越狱方式比不上对抗性提示等复杂方法,但明显更简单有效,可作为探测语言模型泛化能力的工具。
使用拒绝数据微调或可防御
作者表示,这些发现揭示了SFT、RLHF和对抗训练等当前广泛使用的语言模型对齐技术,仍然存在一定的局限性。
按照论文的观点,这可能意味着模型从训练数据中学到的拒绝能力,过于依赖于特定的语法和词汇模式,而没有真正理解请求的内在语义和意图。
这些发现对于当前的语言模型对齐技术提出了新的挑战和思考方向——仅仅依靠在训练数据中加入更多的拒绝例子,可能无法从根本上解决模型的安全问题。
作者又进行了进一步实验,使用拒绝过去时间攻击的示例对GPT-3.5进行了微调。
结果发现,只要拒绝示例在微调数据中的占比达到5%,攻击的成功率增长就变成了0。
下表中,A%/B%表示微调数据集中有A%的拒绝示例和B%的正常对话,正常对话数据来自OpenHermes-2.5。
这样的结果也说明,如果能够对潜在的攻击进行准确预判,并使用拒绝示例让模型对齐,就能有效对攻击做出防御,也就意味着在评估语言模型的安全性和对齐质量时,需要设计更全面、更细致的方案。
论文地址:
https://arxiv.org/abs/2407.11969
参考链接:
[1]https://x.com/maksym_andr/status/1813608842699079750
[2]https://x.com/MatthewBerman/status/1813719273338290328
小杨哥公司向甘肃灾区捐款1200万
北京时间12月18日23时59分,甘肃临夏州积石山县发生62级地震甘肃和青海部分地区受灾严重,灾情牵动社会各界的心。昨日晚间,小杨哥公司三只羊集团宣布捐款1200万元驰援甘肃地震灾区。用于甘肃地震灾区采购应急物资、灾情紧急救援以及受灾地区灾后重建工作。三只羊集团表示,将持续关注受灾地区的实际需求,全力支持救援工作,与受灾地区群众风雨同舟,共克时艰。站长网2023-12-20 08:27:280000小米首款5G卫星移动终端入网 非小米14Ultra
站长之家(ChinaZ.com)1月18日消息:近日,知名博主数码闲聊站爆料称,小米旗下首款5G卫星移动终端已完成入网认证,并支持卫星通信功能。值得注意的是,这款新机并非市场期待的小米14Ultra。据认证信息显示,该终端设备型号为“2311BPN23C”。此前已有消息透露,这款新机将被命名为小米MIXFlip,是小米旗下首款竖向折叠屏手机。站长网2024-01-18 13:49:270000拼多多双11战报:百亿补贴订单量同比增长107% 用户突破6.2亿
拼多多“11.11迎来真香”收官,参与平台大促的品牌、商家以及商品数量均创新高,农货、国货以及全球好物等超40个细分类目实现翻倍增长。另外,百亿补贴订单量同比增长107%,秒杀频道为超10万个中小商家提供增量引擎,百亿补贴用户突破6.2亿。站长网2023-11-13 21:44:490000浙大研究者提出UrbanGIRAFFE,解决城市场景的可控3D感知图像合成
**划重点:**1.🌐UrbanGIRAFFE是浙江大学研究人员提出的一种用于逼真图像合成的方法,旨在实现可控的相机姿势和场景内容。2.🖼️该方法通过将场景分解为物体、物体和天空,利用语义体素网格和对象布局,实现对复杂城市环境的多样控制。3.🚀UrbanGIRAFFE通过在合成和实际数据集上进行全面评估,展示了在可控性和保真度方面超越各种2D和3D基线的出色性能。站长网2023-11-20 12:14:520000vivo推出自研影像芯片V3 X100系列或首发搭载
根据最新爆料,vivoX100系列将会首发搭载vivo自研芯片V3。这款芯片采用6nm制程工艺,能效较上一代提升了30%,并拥有多并发AI感知ISP架构和第二代FIT互联系统,在提升算法效果的同时还兼顾了降低功耗,综合体验相比上一代V2芯片有明显提升。站长网2023-07-31 08:13:550000