英伟达人工智能软件存在安全漏洞 可被操控泄露个人信息
根据一项最新研究显示,英伟达的人工智能软件中的一个功能存在安全限制的漏洞,可以被操控以透露私人信息。
英伟达开发了一个名为「NeMoFramework」的系统,允许开发人员使用各种大型语言模型,这些模型是生成式AI产品(如聊天机器人)的核心技术。
这款芯片制造商的框架旨在被企业采用,比如将公司的专有数据与语言模型结合起来,以提供对问题的回答。例如,它可以复制客服代表的工作或为寻求简单医疗建议的人提供建议。
总部位于旧金山的RobustIntelligence的研究人员发现,他们可以轻松突破为确保AI系统安全使用而设立的所谓防护栏。
在使用英伟达系统处理自己的数据集后,RobustIntelligence的分析人员仅用了几个小时就成功让语言模型突破限制。
在一个测试场景中,研究人员指示英伟达的系统将字母「I」替换为「J」。这一操作促使该技术从数据库中释放出个人可识别信息(PII)。
研究人员发现,他们可以通过其他方式绕过安全控制,例如让模型偏离主题。
通过复制英伟达提供的一个关于就业报告的狭义讨论的示例,他们成功让模型涉及到一位好莱坞影星的健康和法普战争等主题,尽管英伟达设计了防护栏以阻止AI超越特定主题。
研究人员轻松突破这些安全保护措施凸显了AI公司在试图商业化这一从硅谷涌现多年的最有前途的技术时面临的挑战。
哈佛大学计算机科学教授、RobustIntelligence首席执行官YaronSinger表示:「我们正在看到这是一个困难的问题,需要深入的专业知识。」「这些研究结果是关于存在的潜在问题的一个警示。」
在测试结果公布后,研究人员建议客户避免使用英伟达的软件产品。在《金融时报》本周早些时候要求英伟达对该研究发表评论后,该芯片制造商通知RobustIntelligence表示已修复了分析人员提出的问题背后的一个根本原因。
自5月以来,英伟达的股价飙升,当时该公司预测截至7月的三个月销售额将达到110亿美元,超过华尔街此前的预期增长幅度超过50%。
这一增长建立在对其芯片的巨大需求之上,这些芯片被认为是构建生成式AI系统(能够生成类似人类内容的系统)的市场领先芯片。
英伟达的应用研究副总裁JonathanCohen表示,他们的框架只是「构建符合开发人员定义的主题、安全和安全准则的AI聊天机器人的起点」。
他说:「它作为开源软件发布给社区,以便探索其功能、提供反馈并贡献最新的技术。」他补充说,RobustIntelligence的研究「确定了需要采取的额外步骤以部署生产应用程序」。
他拒绝透露有多少企业正在使用该产品,但表示该公司没有收到其他关于其产品不正常运行的报告。
谷歌和微软支持的OpenAI等领先的AI公司已经发布了由其自己的语言模型驱动的聊天机器人,并实施了防止其AI产品使用种族主义言论或采用高压态度的防护措施。
其他公司也推出了专门的、但实验性的AI产品,用于教育年轻学生、提供简单的医疗建议、在不同语言之间进行翻译和编写代码。几乎所有这些产品都经历过安全问题。
英伟达和其他AI行业的公司需要「真正建立公众对技术的信任」,RobustIntelligence公司欧洲、中东和非洲地区政府事务负责人BeaLongworth在行业游说团体TechUK的一次会议上表示。
她补充说,他们必须让公众感觉「这是一项有巨大潜力的技术,而不仅仅是一种威胁或令人害怕的东西」。
Snapchat 将 My AI 开放给所有用户免费使用 却招致大量一星差评
上周,Snapchat宣布将其「MyAI」助手的可用性扩大到所有用户,而最初只有高级用户可以使用。事实证明,用户对这一变化并不特别兴奋,主要是因为Snapchat自动将「MyAI」对话机器人钉在了他们的聊天频道的顶部。图片来自SnapSnapchat用户对这一变化非常不满,他们在AppStore上对该应用进行了大量的一星评论。站长网2023-04-25 09:45:570000赛博主播燎原东南亚:数字人挤走女主播,星星之火正燃向中国
东南亚跨境带货出现了大量数字人主播。他们可以自由选择形象和风格,会讲多国语言,24小时不间断直播带货,每个月的费用仅需数百人民币。全年无休的数字人正卷走东南亚主播的工作,而这股浪潮也在中国涌动。东南亚的跨境带货新宠午夜,一位时尚的女孩在TikTok上正在用越南话推荐服装,她表情丰富、会说多国语言,且看不出一丝疲倦。站长网2023-07-05 10:22:110003OpenAI新任CEO Emmett Shear是谁?或使公司危机加深
**划重点:**1.🌟EmmettShear被任命为OpenAI的新首席执行官,此前曾是全球最大的视频流媒体公司Twitch的首席执行官。2.⚡在员工和投资者支持前OpenAI领导人SamAltman之后,OpenAI的危机在董事会任命EmmettShear为新CEO后加深。站长网2023-11-20 14:42:450000贝恩咨询与OpenAI合作,基于ChatGPT打造生成式AI助手Sage
本文概要:全球三大咨询公司之一贝恩宣布,将基于OpenAI的GPT-4大语言模型以及自身海量专业咨询数据,打造的生成式AI助手Sage,为18,500名员工提供服务。贝恩还将微软的MicrosoftCopilot集成业务中,用于执行各种日常任务。贝恩全球管理合伙人MannyMaceda表示,生成式AI对全球的技术创新、生产力和业务增长起到了关键推动作用。站长网2023-10-03 10:05:410000GitHub一项调查显示:92%的程序员正在使用人工智能
GitHub进行了一项调查,旨在了解有多少程序员正在使用AI工具。结果显示,500名接受调查在美国工作的开发人员中有92%的人表示已经将AI工具整合到了工作中,而70%的人表示这些工具为他们的工作带来了“优势”。站长网2023-06-20 17:10:320001