麻省理工推出AI工具PhotoGuard 对抗生成式AI模型
近年来,大型扩散模型,如 DALL-E 2 和 Stable Diffusion,因其生成高质量、逼真的图像以及执行各种图像合成和编辑任务的能力而受到认可。
但是,人们对用户友好的生成式 AI 模型的潜在滥用也越来越担忧,这些模型可能会导致不适当或有害的数字内容的创建。例如,恶意行为者可能利用公开分享的个人照片,通过使用现成的扩散模型,出于恶意目的对其进行编辑。
为了应对未经授权的图像操纵带来的日益严峻的挑战,麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员推出了一种名为“PhotoGuard”的 AI 工具,旨在对抗 DALL-E 和 Midjourney 等先进的生成式 AI 模型。 在研究论文《提高恶意 AI 驱动的图像编辑的成本》中,研究人员声称,PhotoGuard 可以检测像素值中不可察觉的“扰动”(干扰或不规则),这些扰动肉眼无法看到,但计算机模型可以检测到。
“我们的工具旨在在上传到互联网之前‘加固’图像,确保抵抗 AI 驱动的操纵尝试,”麻省理工学院 CSAIL 博士生兼论文第一作者 Hadi Salman 对 VentureBeat 说。“在我们的概念验证论文中,我们重点关注使用目前最流行的 AI 模型类别进行图像修改。这种抵抗力是通过在要保护的图像的像素中加入微妙地制作、不可察觉的扰动来建立的。这些扰动旨在破坏试图操纵图像的 AI 模型的功能。”
据麻省理工学院 CSAIL 的研究人员介绍,该 AI 采用了两种不同的“攻击”方法来创建扰动:编码器和扩散。
“编码器”攻击侧重于 AI 模型中图像的潜在表示,使模型将图像视为随机,并使图像操纵几乎变得不可能。同样,“扩散”攻击是一种更复杂的方法,涉及确定目标图像并优化扰动,使生成的图像与目标更加相似。 Salman 解释说,其 AI 使用的关键机制是“对抗性扰动”。
“这种扰动是对图像像素进行不可察觉地修改,已被证明非常有效地操纵机器学习模型的行为,”他说。“PhotoGuard 使用这些扰动来操纵处理受保护图像的 AI 模型,使其产生不现实或无意义的编辑。”
麻省理工学院 CSAIL 的研究生团队和主要作者 —— 包括 Alaa Khaddaj、Guillaume Leclerc 和 Andrew Ilyas —— 也参与了该论文。
该研究还于 7 月在国际机器学习会议上展示,并得到了国家科学基金会、开放哲学和国防高级研究项目局等机构资助。
Salman 说,尽管 DALL-E 和 Midjourney 等 AI 驱动的生成式模型因其能够从简单的文本描述中创建逼真的图像而受到关注,但滥用的风险也越来越明显。这些模型使用户能够生成高度详细和逼真的图像,为无辜和恶意的应用开辟了可能性。
Salman 警告说,欺诈性的图像操纵不仅会影响市场趋势和公众情绪,还会对个人图像构成风险。不恰当地修改的图片可能被用于敲诈勒索,从而在更大的范围内造成重大的财务影响。
除了谈影像,今年的小米13Ultra我们还能谈什么?
知道从什么时候开始,手机行业似乎都有一个共识,越厉害的手机,拍照一定是要越高级,这样才能稳居旗舰地位;而上个月发布的小米13Ultra从外观上看,明眼人一眼就可以看出小米13Ultra是一款跟影像有关的旗舰。然而如果跳开影像这个硬核的标签,当小米13Ultra回归到一众手机里,小米13Ultra还能Ultra吗?站长网2023-05-24 20:28:380000网信办公布第三批深度合成服务算法备案信息 淘宝、抖音、网易等在列
站长之家(ChinaZ.com)1月8日消息:根据国家互联网信息办公室1月5日发布的公告,包括淘宝、抖音、网易等在内的多家企业已对其深度合成服务算法进行了备案。据悉,根据《互联网信息服务深度合成管理规定》第十九条,具有舆论属性或者社会动员能力的深度合成服务提供者需要履行备案手续。以下是部分已备案的企业及算法名称:淘宝:淘宝图像风格化生成算法、淘宝对话生成算法天猫:天猫对话生成算法0000文字直播,闷声搞钱,日赚2000元
大家好,我是摸鱼掌柜。01、摸鱼思维很多人有一个不太健康的习惯,叫穷思竭虑。主要表现在过于在意别人的看法而不断内耗自己。一个人骂了你一句,你记了十年,就等于他骂了你十年。对于利益相关的人,要展示你的实力和智力。对于利益不相关的人,展示你的礼貌就好。可惜很多人把这个顺序弄反了,在无关利益的人身上花费时间,试图证明一些没意义的事。站长网2023-04-27 18:00:370000CSM ai推实时草图转3D功能 可导出到3D软件
前不久,站长之家向大家推荐过drawfast、LeonardoAi、Pikaso等多款实时AI绘图工具,用户只要简单画几条线条就可以实时生成好看的图画。现在,实时画图又进化了!直接从草图变成3D模型。近日,CSMai推实时草图转3D功能,这个功能可以直接从草图风景生成3D模型,并且可以将其导出到3D软件中。体验地址:https://3d.csm.ai/canvas站长网2023-12-19 11:42:230001一个月涨粉67万,淄博鸭头小哥开始带货了
“我们已经不是为了赚钱,而是为了淄博的荣誉而战。”今年3月,大学生组团“进淄赶烤”火遍了整个网络。无数淄博人不吃烧烤“礼让”外地游客,留意起自己的一言一行,还自发去车站给游客送特产。商家也加足马力,不涨价不放假,用热情、质朴的表现维护着来之不易的关注度。互联网语境下,流量意味着竞争力,也意味着收益,工业城市淄博第一次体会到了流量的甜头,其中的470万本地人一起小心翼翼书写了淄博的流量故事。站长网2023-05-23 09:08:310000