Lakera推出API,保护大型语言模型免受恶意提示攻击
要点:
1. 瑞士初创公司Lakera发布了一款API,旨在保护企业免受大型语言模型(LLM)的恶意提示攻击,包括“prompt injection”技术。他们还宣布获得1,000万美元的融资支持。
2. Lakera通过开发一个互动游戏“Gandalf”,允许用户尝试通过语言欺骗攻击来“攻破”LLM,用于识别不同类型的攻击。
3. Lakera还致力于防止私人或机密数据泄露到公共领域,以及过滤内容,确保LLMs不提供不适宜儿童的信息。
瑞士初创公司Lakera最近发布了一款旨在保护企业免受大型语言模型(LLM)的恶意提示攻击的API。这项举措旨在解决LLMs在生成人类语言文本方面的卓越性能,但也可能受到恶意攻击的问题,尤其是通过所谓的“prompt injection”技术。为了应对这一挑战,Lakera已经成功筹集了1,000万美元的融资,以支持他们的使命。
地址:https://www.lakera.ai/
Lakera的方法包括开发名为“Gandalf”的互动游戏,允许用户通过语言欺骗攻击尝试“黑客”LLM。这个游戏吸引了数百万用户,其中包括网络安全社区的成员。通过分析用户的互动,Lakera已经建立了一个“prompt injection”攻击分类系统,将攻击类型分为10个不同的类别。
这包括直接攻击、越狱、绕过攻击、多提示攻击、角色扮演、模型复制、模糊化(令牌夹带)、多语言攻击和意外上下文泄露。这些攻击类型被转化成统计结构,以帮助企业保护自己免受安全漏洞。
除了防止“prompt injection”攻击,Lakera还专注于其他安全问题。他们致力于防止私人或机密数据不慎泄露到公共领域,以及过滤内容,确保LLMs不提供不适宜儿童的信息。此外,他们还处理LLM引发的误导或事实错误。这种综合性的方法使Lakera成为了安全、安全性和数据隐私的一个综合解决方案。
尤其重要的是,Lakera的API的推出是在欧洲联盟即将颁布的AI法规背景下进行的。这些法规将在未来一两年内出台,其中有一项重要的法规要求LLM提供商遵守法律规定,识别潜在风险并采取适当的措施。Lakera的创始人还担任法规咨询委员会的顾问,他们积极参与制定技术规则,以帮助政策制定者更好地了解这些规定对实际开发人员的影响。
总之,Lakera的API推出为企业提供了一个全面的解决方案,以保护他们免受LLM的恶意攻击。这是一个迫切需要的安全领域,特别是在LLMs在商业应用中广泛使用的情况下。通过将攻击转化为统计结构,Lakera有望在这一领域发挥重要作用,并确保企业可以安全地利用LLM的强大功能。
顺为资本、金山办公入股悟空图像研发商亦心科技
天眼查App显示,近日,悟空图像关联公司北京亦心科技有限公司发生工商变更,股东新增珠海金山办公软件有限公司,以及3家顺为资本旗下合伙企业,同时,公司注册资本由约111.11万人民币增至约138.89万人民币。北京亦心科技有限公司成立于2015年8月,专注于图像软件的研究与开发,在图像领域有近20年的研发历史。站长网2023-09-15 11:55:440000苹果推俄罗斯套娃式扩散模型MDM 用于生成高质量图像和视频
要点:1.苹果推出了一款新的高分辨率图像生成模型,称为俄罗斯套娃式扩散模型(MatryoshkaDiffusionModels,MDM),用于生成高质量图像和视频。2.MDM采用嵌套UNet架构,结合多分辨率损失和渐进式训练,提高了高分辨率图像生成的效率和质量,同时避免了级联或潜在扩散的复杂性。站长网2023-10-30 17:53:030000报告:未来七年,生成AI技术有望为印度GDP增加1.5万亿美元
根据安永印度公司的一份报告,未来7年,生成式人工智能有可能为印度的GDP累计增加1.2-1.5万亿美元。这份题为《印度的AIdea:生成式人工智能加速印度数字化转型的潜力》的报告提供了对该行业在拥抱通用人工智能方面的准备和挑战的见解。根据该报告,到29-30财年,新一代人工智能可能为印度的GDP累计增加1.2-1.5万亿美元。预计近69%的总体影响将来自商业服务等行业。0000Adobe首席战略官:人工智能将推动更多招聘,而非减少
**划重点:**1.🤖Adobe首席战略官ScottBelsky表示,人工智能将使每个人更具创造力,激发公司扩张和增加招聘的需求。2.💼Belsky认为,人工智能提高了设计师的效率,但并未导致对创意人才的需求减少,相反,公司希望雇佣更多人以实现更多创新。3.🌐他预测,随着公司变得更加高效,尤其是借助新的人工智能能力,它们将扩大业务范围,为小公司提供更多竞争机会。0000三星和 SK 加快人工智能半导体的开发以应对 ChatGPT
三星电子和SK海力士正在加快下一代半导体技术的开发,以适应人工智能(AI)时代的到来,而ChatGPT的出现更加加速了这个过程。据业内消息称,三星电子最近开发了业内首款支持ComputeExpressLink(CXL)2.0的128GBCXLD-RAM。站长网2023-05-15 17:52:390000