大模型界的“熊猫烧香”,可对文生图模型造成巨大伤害!
《麻省理工技术评论》分享了一个名为Nightshade的投毒工具,可以对DALL-E、Midjourney 和Stable Diffusion等文生图模型的训练数据造成造成巨大伤害,以帮助艺术家们防止非法爬取其画作数据,用于大模型训练,同时揭露了模型存在的安全隐患。
Nightshade使用的攻击技术和优化策略,可以在保持图像视觉效果不变的情况下,通过很小的扰动改变图像的内在特征,既能起到攻击效果又可以避开检测。
将Nightshade的毒数据融合到训练数据中,会使得模型生成的内容崩溃或出现“驴唇不对马嘴”的情况,例如,生成狗的图片会变成猫,生成汽车的图片会变成牛等。
当多个概念被攻击时, 可以在同一个模型上实现Buff叠加,最高可导致模型提示生成的内容全部失效或无法响应提示。
这极强的毒性让人联想到了10多年前名震天下的“熊猫烧香”病毒,都有隐蔽、繁殖强和Buff叠加的特性。
测试数据显示,Nightshade的攻击成功率极高,只需要大约100个投毒样本就可以使模型在特定提示生成错误的图像,与传统攻击相比,所需的数据量降低90%以上。
论文地址:https://arxiv.org/abs/2310.13828
研究人员通过分析知名训练数据集LAION-Aesthetic的数据特征发现,每个概念在数据集中的训练样本数量极为有限。
用关键词频率和语义频率两个指标衡量各概念在数据集中的稀疏程度时,发现92%以上的概念其训练样本数量不足整个数据集的0.2%,存在非常明显的安全漏洞。
基于这个发现,研究人员开发了Nightshade一种“脏标签”的攻击方法。
文本提示选择
Nightshade首先需要选择相关的文本提示作为投毒攻击的目标。从一个自然图像文本配对数据集中选择包含投毒概念C的文本提示。
为了最大化每一个文本提示对模型的影响,Nightshade选择那些在文本 embedding 空间中与概念C语义最相关的文本提示。
算法是计算每一个文本t与概念C的余弦相似度,然后选择相似度最高的5K个文本作为投毒文本集Textp。
锚定图像生成
Nightshade需要为每个投毒文本生成相应的“锚定图像”。锚定图像是模型在非投毒状态下根据目标概念C所生成的原型图像。
为此,Nightshade使用可访问的非投毒生成模型,以“一张{A}的照片”或者“一副{A}风格的画”的形式查询目标概念A,生成Np副锚定图像集Imageanchor。这些锚定图像为后续的图像优化提供目标指导。
优化图像扰动
这是关键的一步,Nightshade使用优化方法为每一个投毒文本生成经过扰动的对应图像,以取代原始的锚定图像。
对每个投毒文本t,找到其对应的自然图像xt。以xt为基础,计算一个小的扰动量δ,使得xt δ在特征提取器F下接近锚定图像xa。
这一步的目的是让最终的投毒图像在视觉上类似自然图像,而内在特征却接近锚定图像,以实现投毒效果。
生成投毒数据
经过上述步骤,每一个投毒文本t都对应一个经过优化的投毒图像x'。将它们组合成文本/图像配对,构成最终的投毒数据集{Textp/Imagep}。
然后将优化后的毒数据与正常训练数据一起用于训练目标生成模型。毒数据会导致模型在生成与概念C相关的图像时产生巨大错误。
Nightshade的其他作用
Nightshade除了可帮助艺术家们保护自己的画作数据,这为大模型的训练、安全等起到了关键的警示作用。
揭示了训练数据稀疏性问题:Nightshade的数据攻击主要利用了当前模型训练数据中概念稀疏性这个漏洞。这说明需要收集更丰富和多样化的数据,提高每个概念的训练密度,增强模型的鲁棒性。
新的数据对抗训练:Nightshade这种对抗攻击数据可以服务于对抗训练,提升模型对抗扰动的鲁棒性,带来了一种全新的对抗训练思路。
大模型也容易被攻击:Nightshade的出现,表明当前模型存在安全隐患,需要进行安全性设计和评估,提高对抗攻击的安全意识。
康奈尔大学研究AI模型安全的教授 Vitaly Shmatikov表示,我们还没有准备好,如何应对那些针对大模型的攻击措施,也没有看到哪些大模型被攻击过。
Nightshade很好地揭露了AI模型所存在的一些安全漏洞,这对于搭建防御体系非常有帮助。
本文素材来源Nightshade论文,如有侵权请联系删除
规划1亿个号码!央视揭晓车联网专用“手机卡”:仅指尖大小
快科技6月3日消息,上周工信部公告,规划1亿个11位公众移动通信网号码专用于车联网业务。也就是说,官方这是给汽车规划了专属的手机号”,与手机上使用的号码位数相同。央视新闻专门发布了一段视频,介绍车联网与普通手机卡有何区别。车联网在应对日常的听音乐、导航等完全没问题,但此外它还能支持联网的辅助驾驶、智能驾驶功能,可以与路上的传感器、其他车辆实现互联,实现城市智慧交通系统。0000微信PC端更新!终于可以多开文章了,超爽?
本文转载自运营公举小磊磊(公众号ID:gongjulei),免费阅读200万字新媒体运营知识,提升新媒体运营能力。教你自媒体怎么做,快速起号赚钱。细心的新媒体人应该发现,前几天微信又更新了!PC客户端微信发生了很大变化,最主要是微信文章支持多开浏览了!绝对能提高现在的工作效率。在PC端打开任意一篇微信文章,出现弹窗,顶部会显示公众号LOGO和文章标题,不过要注意的是LOGO是无法点击的。站长网2023-05-22 09:17:570000面部图像修复突破性AI方法Dual-Pivot Tuning 实现人脸模糊变高清
**划重点:**1.🌐图像修复是一个复杂的挑战,研究人员提出了名为“Dual-PivotTuning”的个性化图像修复方法。2.🤳该方法使用有限的高质量个体图像集,以保持图像对个体身份的高保真性。3.📊实验证明,“Dual-PivotTuning”技术在盲目和少数样本的个性化面部图像修复方面优于其他最先进的方法。站长网2024-01-04 09:59:350000新一代鸿蒙生态5G手机!WIKO Hi畅享60s现身产品库:配天玑700芯
快科技10月1日消息,源于法国的手机品牌WIKO,与去年年底再国内推出了全新的产品系Hi畅享,推出了具有鸿蒙生态属性的手机Hi畅享60。近日,一款全新的鸿蒙生态手机Hi畅享60s现身中国电信终端产品库,其部分硬件规格也随之曝光。站长网2023-10-02 09:42:200000淘宝免单后,网友恶补文化课
网上买东西,怎么才能省钱?有人说多比价,有人说多用券;也有人拍拍胸脯,表示学好文化知识就行。最近,为了看图猜对金额,获得淘宝免单资格,网友们分成了三大派别。其中,“勤学苦读派”相信自己,“场外求助派”发挥人脉,“胡言乱语派”负责搞笑,对正确思路形成干扰。而除了智力大比拼之外,网友想要赢得免单资格,还要从出题思路进行分析;而付款的时机、商家发货的速度,也成了免单成功的因素。站长网2024-05-14 14:42:570000