微软:2018年就成立团队攻击AI来测试其弱点
周一,微软透露了公司内部从2018 年就成立团队来负责找出如何攻击AI平台,从而揭示AI弱点。
在成立的五年里,微软的AI红队已经从一个实质上是实验性的项目发展成为一个完整的跨学科团队,由机器学习专家、网络安全研究人员,甚至社会工程师组成。该团队致力于使用传统的数字安全术语在微软内部和整个科技行业内传播其发现,这样这些想法就会更容易理解,而不需要许多人和组织还没有的专门的AI知识。但事实上,该团队已经得出结论,AI安全与传统的数字防御有重要的概念差异,这需要AI红队在其工作方式上有所不同。
“当我们开始的时候,问题是,‘你到底要做什么不同的事情?为什么我们需要一个AI红队?’”微软AI红队的创始人Ram Shankar Siva Kumar说。“但如果你把AI红队看作只是传统的红队,如果你只考虑安全性的心态,那可能是不够的。我们现在必须认识到负责任的AI方面,也就是AI系统失败的责任——所以生成攻击性内容、生成没有根据的内容。这是AI红队的圣杯。不仅要看安全性的失败,还要看负责任的AI失败。”
Shankar Siva Kumar说,花了一些时间才能突出这种区别,并说明AI红队的使命确实会有这种双重重点。早期的很多工作都与发布更传统的安全工具有关,比如 2020 年与非营利研发组织MITRE和其他研究人员合作推出的对抗性机器学习威胁矩阵。那一年,该团队还发布了开源的AI安全测试自动化工具,称为微软Counterfit。 2021 年,红队发布了一个额外的AI安全风险评估框架。
然而,随着时间的推移,随着解决机器学习缺陷和失败的紧迫性变得更加明显,AI红队也得以发展和扩展。
微软的AI红队不仅仅研究目前正在野外使用的攻击。Shankar Siva Kumar说,该团队专注于预测攻击趋势可能会走向哪里。这通常涉及强调红队使命中较新的AI问责性部分。当该团队在一个应用程序或软件系统中发现一个传统的漏洞时,他们经常与微软内部的其他团队合作来修复它,而不是花时间完全开发和提出自己的修复方案。 “在微软内部还有其他红队和其他Windows基础设施专家或者我们需要的任何东西。”Shankar Siva Kumar说。“对我来说,洞察力是AI红队现在不仅包括安全性失败,还包括负责任的AI失败。”
小鹏汽车回应内部供应链反腐:正常的反腐倡廉行为
据财新网消息,小鹏汽车内部宣布采购部门负责人停职,多名员工配合调查。此事始于小鹏汽车内部供应链反腐,牵涉多个层级,亦有警方介入。针对多名员工配合调查的消息,小鹏汽车方面回应表示:公司采取行动是正常的反腐倡廉行为,对于腐败行为发现一起、纠错一起,绝不姑息,此次事件涉及面小,不影响商务、生产环节。站长网2023-10-10 15:49:130000微软计划与Databricks合作推出 AI 服务,可能对 OpenAI 构成威胁
本文概要:1.微软计划推出新版本的Databricks软件,帮助客户为其企业开发AI应用。2.这一举措可能会对OpenAI构成威胁,因为OpenAI也是一家提供AI服务的公司。3.微软希望通过与Databricks的合作,提供更强大的AI解决方案,吸引更多的客户。站长网2023-08-19 15:30:220001OpenAI 董事会邀请竞争对手加入,挖角谷歌Gemini高管
划重点:-OpenAI董事会邀请竞争对手加入,引发关于Altman地位的担忧。-谷歌为了留住人才,开出高额薪酬并推出特殊补偿计划。-OpenAI从谷歌Gemini团队挖角高管,进一步增强了其在人才和技术方面的优势。站长网2024-01-25 16:18:350000生鲜电商2024:先活下来,再谈增长
高投入、高耗损、低价战......2023年,整个生鲜电商行业暗藏地雷,大厂折戟,小厂湮灭。高压之下,叮咚买菜依靠连续撤城、关停站点等一系列降本增效措施来应对市场与内部的挑战。从结果上看,叮咚买菜靠断臂求生,获得了一场“惨烈的胜利”。站长网2024-03-14 09:06:270000开源模型「幻觉」更严重,这是三元组粒度的幻觉检测套件
BSChecker:细粒度大模型幻觉检测工具与基准测试排行榜大模型长期以来一直存在一个致命的问题,即生成幻觉。由于数据集的复杂性,难免会包含过时和错误的信息,这使得输出质量面临着极大的挑战。过多的重复信息还可能导致大型模型产生偏见,这也算是一种形式的幻觉。如何检测和有效缓解大模型的生成幻觉问题一直是学术界的热门课题。0000