英伟达人工智能软件存在安全漏洞 可被操控泄露个人信息
根据一项最新研究显示,英伟达的人工智能软件中的一个功能存在安全限制的漏洞,可以被操控以透露私人信息。

英伟达开发了一个名为「NeMoFramework」的系统,允许开发人员使用各种大型语言模型,这些模型是生成式AI产品(如聊天机器人)的核心技术。
这款芯片制造商的框架旨在被企业采用,比如将公司的专有数据与语言模型结合起来,以提供对问题的回答。例如,它可以复制客服代表的工作或为寻求简单医疗建议的人提供建议。
总部位于旧金山的RobustIntelligence的研究人员发现,他们可以轻松突破为确保AI系统安全使用而设立的所谓防护栏。
在使用英伟达系统处理自己的数据集后,RobustIntelligence的分析人员仅用了几个小时就成功让语言模型突破限制。
在一个测试场景中,研究人员指示英伟达的系统将字母「I」替换为「J」。这一操作促使该技术从数据库中释放出个人可识别信息(PII)。
研究人员发现,他们可以通过其他方式绕过安全控制,例如让模型偏离主题。
通过复制英伟达提供的一个关于就业报告的狭义讨论的示例,他们成功让模型涉及到一位好莱坞影星的健康和法普战争等主题,尽管英伟达设计了防护栏以阻止AI超越特定主题。
研究人员轻松突破这些安全保护措施凸显了AI公司在试图商业化这一从硅谷涌现多年的最有前途的技术时面临的挑战。
哈佛大学计算机科学教授、RobustIntelligence首席执行官YaronSinger表示:「我们正在看到这是一个困难的问题,需要深入的专业知识。」「这些研究结果是关于存在的潜在问题的一个警示。」
在测试结果公布后,研究人员建议客户避免使用英伟达的软件产品。在《金融时报》本周早些时候要求英伟达对该研究发表评论后,该芯片制造商通知RobustIntelligence表示已修复了分析人员提出的问题背后的一个根本原因。
自5月以来,英伟达的股价飙升,当时该公司预测截至7月的三个月销售额将达到110亿美元,超过华尔街此前的预期增长幅度超过50%。
这一增长建立在对其芯片的巨大需求之上,这些芯片被认为是构建生成式AI系统(能够生成类似人类内容的系统)的市场领先芯片。
英伟达的应用研究副总裁JonathanCohen表示,他们的框架只是「构建符合开发人员定义的主题、安全和安全准则的AI聊天机器人的起点」。
他说:「它作为开源软件发布给社区,以便探索其功能、提供反馈并贡献最新的技术。」他补充说,RobustIntelligence的研究「确定了需要采取的额外步骤以部署生产应用程序」。
他拒绝透露有多少企业正在使用该产品,但表示该公司没有收到其他关于其产品不正常运行的报告。
谷歌和微软支持的OpenAI等领先的AI公司已经发布了由其自己的语言模型驱动的聊天机器人,并实施了防止其AI产品使用种族主义言论或采用高压态度的防护措施。
其他公司也推出了专门的、但实验性的AI产品,用于教育年轻学生、提供简单的医疗建议、在不同语言之间进行翻译和编写代码。几乎所有这些产品都经历过安全问题。
英伟达和其他AI行业的公司需要「真正建立公众对技术的信任」,RobustIntelligence公司欧洲、中东和非洲地区政府事务负责人BeaLongworth在行业游说团体TechUK的一次会议上表示。
她补充说,他们必须让公众感觉「这是一项有巨大潜力的技术,而不仅仅是一种威胁或令人害怕的东西」。
阿里云推出第八代企业级实例g8i AI推理性能提升7倍
阿里云推出了第八代企业级通用计算实例ECSg8i,采用了阿里云自研的「飞天CIPU」架构体系和第五代英特尔至强可扩展处理器。新款实例的整机性能最高提升85%,AI推理性能最高提升7倍,可以支持高达72B参数的大语言模型。此外,ECSg8i实例还提供了端到端的安全防护,为企业构建可信的AI应用提供了强大的隐私增强算力支持。站长网2024-01-12 11:00:470000面壁智能等合作推出面向汽车行业的群体智能协作平台
面壁智能与清华大学NLP实验室和易慧智能合作,打造全球首个面向汽车行业的群体智能协作平台。该平台将利用大模型技术,提供汽车销售中的客户获取、数据分析、运营管理、商机转化、市场营销和客户服务等解决方案。合作旨在帮助汽车企业降低成本、提高效率,引领汽车行业进入智能营销时代。通过合作模式的复制,该平台还可以应用于其他汽车行业环节,推动整个汽车行业的数字化转型。0001掌趣科技:与行者AI达成战略合作 加强游戏AIGC领域生态布局
掌趣科技官方宣布,公司与行者AI达成战略合作,共同致力于推进AIGC技术在游戏产业的创新应用。据介绍,此次合作将进一步加强掌趣科技在游戏AIGC领域的生态布局,扩大技术及创新工具的储备,加速掌趣科技“AI游戏创作平台”的研发,全面践行“AIUGC”的战略部署。站长网2023-07-17 01:19:150000一段乱码,竟让ChatGPT越狱!乱序prompt让LLM火速生成勒索软件,Jim Fan惊了
【新智元导读】外国网友发现全新越狱技术——只要告诉ChatGPT它可以认识乱序排列的单词,就可以通过输入乱序的prompt,让它生成勒索软件了。继奶奶漏洞之后,ChatGPT又有新「玩法」了!这位国外的网友说,自己刚刚发现了一种全新的越狱技术,让ChatGPT创建勒索软件、键盘记录器等。我们都知道,人脑可以读懂顺序打乱的字句和单词,并不影响理解。而这位网友正是利用了这一点。站长网2023-08-19 15:27:430000AI手机全球大调查!日本认知度最低
快科技12月29日消息,生成式人工智能(GenAI)技术智能手机行业中的应用成为热门话题。CounterpointResearch针对美国、加拿大、英国、法国、德国、波兰和日本等七国进行了一项关于GenAI的调查。结果显示,在超过2.5万名受访者中,仅有32%表示熟悉GenAI,其中美国的认知度最高,达到72%,而日本的认知度最低,仅7%的受访者表示了解。0000