大模型界的“熊猫烧香”,可对文生图模型造成巨大伤害!
《麻省理工技术评论》分享了一个名为Nightshade的投毒工具,可以对DALL-E、Midjourney 和Stable Diffusion等文生图模型的训练数据造成造成巨大伤害,以帮助艺术家们防止非法爬取其画作数据,用于大模型训练,同时揭露了模型存在的安全隐患。
Nightshade使用的攻击技术和优化策略,可以在保持图像视觉效果不变的情况下,通过很小的扰动改变图像的内在特征,既能起到攻击效果又可以避开检测。
![](https://i.zz5.net/images/article/2023/11/26/132511901.png)
将Nightshade的毒数据融合到训练数据中,会使得模型生成的内容崩溃或出现“驴唇不对马嘴”的情况,例如,生成狗的图片会变成猫,生成汽车的图片会变成牛等。
当多个概念被攻击时, 可以在同一个模型上实现Buff叠加,最高可导致模型提示生成的内容全部失效或无法响应提示。
这极强的毒性让人联想到了10多年前名震天下的“熊猫烧香”病毒,都有隐蔽、繁殖强和Buff叠加的特性。
测试数据显示,Nightshade的攻击成功率极高,只需要大约100个投毒样本就可以使模型在特定提示生成错误的图像,与传统攻击相比,所需的数据量降低90%以上。
论文地址:https://arxiv.org/abs/2310.13828
![](https://i.zz5.net/images/article/2023/11/26/132511995.png)
研究人员通过分析知名训练数据集LAION-Aesthetic的数据特征发现,每个概念在数据集中的训练样本数量极为有限。
用关键词频率和语义频率两个指标衡量各概念在数据集中的稀疏程度时,发现92%以上的概念其训练样本数量不足整个数据集的0.2%,存在非常明显的安全漏洞。
基于这个发现,研究人员开发了Nightshade一种“脏标签”的攻击方法。
文本提示选择
Nightshade首先需要选择相关的文本提示作为投毒攻击的目标。从一个自然图像文本配对数据集中选择包含投毒概念C的文本提示。
![](https://i.zz5.net/images/article/2023/11/26/132512104.png)
为了最大化每一个文本提示对模型的影响,Nightshade选择那些在文本 embedding 空间中与概念C语义最相关的文本提示。
算法是计算每一个文本t与概念C的余弦相似度,然后选择相似度最高的5K个文本作为投毒文本集Textp。
锚定图像生成
Nightshade需要为每个投毒文本生成相应的“锚定图像”。锚定图像是模型在非投毒状态下根据目标概念C所生成的原型图像。
为此,Nightshade使用可访问的非投毒生成模型,以“一张{A}的照片”或者“一副{A}风格的画”的形式查询目标概念A,生成Np副锚定图像集Imageanchor。这些锚定图像为后续的图像优化提供目标指导。
优化图像扰动
这是关键的一步,Nightshade使用优化方法为每一个投毒文本生成经过扰动的对应图像,以取代原始的锚定图像。
对每个投毒文本t,找到其对应的自然图像xt。以xt为基础,计算一个小的扰动量δ,使得xt δ在特征提取器F下接近锚定图像xa。
![](https://i.zz5.net/images/article/2023/11/26/132512307.png)
这一步的目的是让最终的投毒图像在视觉上类似自然图像,而内在特征却接近锚定图像,以实现投毒效果。
生成投毒数据
经过上述步骤,每一个投毒文本t都对应一个经过优化的投毒图像x'。将它们组合成文本/图像配对,构成最终的投毒数据集{Textp/Imagep}。
然后将优化后的毒数据与正常训练数据一起用于训练目标生成模型。毒数据会导致模型在生成与概念C相关的图像时产生巨大错误。
Nightshade的其他作用
Nightshade除了可帮助艺术家们保护自己的画作数据,这为大模型的训练、安全等起到了关键的警示作用。
揭示了训练数据稀疏性问题:Nightshade的数据攻击主要利用了当前模型训练数据中概念稀疏性这个漏洞。这说明需要收集更丰富和多样化的数据,提高每个概念的训练密度,增强模型的鲁棒性。
新的数据对抗训练:Nightshade这种对抗攻击数据可以服务于对抗训练,提升模型对抗扰动的鲁棒性,带来了一种全新的对抗训练思路。
大模型也容易被攻击:Nightshade的出现,表明当前模型存在安全隐患,需要进行安全性设计和评估,提高对抗攻击的安全意识。
康奈尔大学研究AI模型安全的教授 Vitaly Shmatikov表示,我们还没有准备好,如何应对那些针对大模型的攻击措施,也没有看到哪些大模型被攻击过。
Nightshade很好地揭露了AI模型所存在的一些安全漏洞,这对于搭建防御体系非常有帮助。
本文素材来源Nightshade论文,如有侵权请联系删除
Adobe 收购文本生成视频公司 Rephrase,加强其生成式 AI 能力
在OpenAI长达五天的权力斗争结束,SamAltman重新上任之际,Adobe正着手加强其生成式人工智能(AI)领域的实力。据EconomicTimes报道,这家内容软件巨头已发出内部备忘录,宣布收购总部位于加利福尼亚的文本到视频公司Rephrase。站长网2023-11-23 10:47:540000B站UP主开了一家全员AI的炒股公司 结果刚进A股就翻车了
B站UP主“林亦LYi”近期引起了广泛关注,因其创办了一家全员AI的炒股公司,为其团队提供一笔资金用于真实炒股实验。这个AI团队的构成颇具特色,引发了关于其真实水平的猜测。这个炒股团队由多个AI成员组成,包括AI领导、AI谏官、AI巴菲特、AI程序员、代码执行机器人、新闻摘抄员和股价查询员。每个成员都有明确的职责,从领导制定计划到程序员编写代码,再到机器人执行任务,团队协作完成股票交易的全过程。站长网2024-01-16 15:25:560000百度大模型这一年:文心一言国内首个用户破亿,飞桨开发者超千万
2023年,AI大模型的最后一波突破来了。文心一言用户规模破1亿,飞桨的开发者数量达到1070万。只用短短两个月,文心大模型4.0整体效果又提升了32%。2023年12月28日,在刚刚过去的WAVESUMMIT2023深度学习开发者大会上,百度揭幕了文心大模型与深度学习平台飞桨的一系列新进展。在大会现场,百度的演示呈现了基于大模型进行AI原生应用开发的新方法和新思路。0000苹果利用人工智能优化广告投放 挑战谷歌和Meta
苹果近日宣布正在测试一项新工具,旨在利用人工智能优化AppStore内的广告投放,这一举措与谷歌和Meta的广告服务颇为相似。该新系统目前正与一组广告主展开试点合作,旨在简化广告流程。广告主只需提供预算、目标受众细节和目标投放国家,AI将自动决定在AppStore现有广告位中放置广告的最佳位置。站长网2024-03-12 15:06:590000IP协议详解之IP地址要领
站长网2023-05-24 01:09:580000