Meta 宣布 Purple Llama 倡议,以促进负责任和安全的生成式人工智能开发
Meta 今天宣布了一项名为「Purple Llama」的新倡议,旨在促进人工智能(AI)系统的负责任开发。
Meta 表示,该项目将逐步提供 AI 开发社区构建开放生成 AI 模型所需的所有工具和评估,以确保安全和负责任的方式进行。
在一篇博客文章中,Meta 的 AI 研究团队解释说,生成式 AI 正在推动一波创新浪潮,包括对话式聊天机器人、图像生成器、文档摘要工具等现在在全球范围内被广泛使用。许多这些新的生成式 AI 应用由 Meta 的开源 Llama 大型语言模型驱动。
因此,Meta 感到有责任采取行动,并鼓励在 AI 安全领域的合作,称这对于建立对这些新创新的信任至关重要。「构建 AI 系统的人无法在真空中解决 AI 的挑战,这就是为什么我们希望平衡竞争环境,为开放的信任和安全创造一个中心,」该公司解释道。
为了开始这一切,Meta 首先推出了一个名为 CyberSec Eval 的免费开放的大型语言模型(LLM)网络安全评估基准。Meta 还宣布推出 Llama Guard,这是一个用于输入/输出过滤的安全分类器,已经过优化,便于部署。
Meta 在博客文章中表示,网络安全和 LLM 提示安全是生成式 AI 安全中两个最重要的领域,这在其 Llama 2 负责任使用指南中得到了强调。
据介绍,CyberSec Eval 是业界首个针对 LLM 的网络安全安全评估集。这些基准基于行业标准和指南,并与安全主题专家合作开发。它们为开发者提供量化 LLM 安全风险的指标,并旨在解决不安全代码建议频率等问题。它们还使开发者能够评估 LLM,使应用程序更难生成可能用于协助网络攻击的恶意代码。
Meta 表示,新工具将有助于防止黑客和其他恶意行为者利用 LLM 进行网络攻击。其早期研究发现,生成式 AI 被用来生成不安全代码和满足恶意请求存在「重大风险」。
至于 Llama Guard,它是一个预先训练的模型,旨在防止生成式 AI 模型生成潜在风险的输出。它是基于公开可用的数据集混合训练的,使其能够检测许多不同用例中可能相关的常见风险或违规内容。因此,它可以检测来自生成式 AI 模型的风险提示和输出,并防止它们被处理。最终,Meta 表示,这将帮助开发者定制他们的生成式 AI 模型,以支持相关用例,同时将引起争议、不安或冒犯的风险降到最低。
紫色团队行动
Meta 表示,「Purple Llama」是其新 AI 安全倡议的合适名称,因为缓解生成式 AI 的风险需要开发者结合攻击(即「红色团队行动」)和防御(即所谓的「蓝色团队行动」)。在传统网络安全中,红色团队由专家组成,他们执行各种攻击,试图克服公司的网络安全防御,而蓝色团队则专注于保护和应对这些攻击。
因此,Meta 将其对生成式 AI 安全的方法标记为「紫色团队行动」,旨在促进评估和缓解技术潜在风险的协作方法。
作为 Purple Llama 倡议的一部分,Meta 打算进行大量的探索性研究,但不会单独进行。相反,它正在创建一个开放的生态系统,合作伙伴包括新成立的 AI 联盟、AMD、亚马逊AWS、贝恩公司、CloudFlare Inc.、Databricks Inc.、Dell Technologies Inc.、Dropbox Inc.、谷歌云、Hugging Face Inc.、IBM 公司、英特尔公司、微软公司、MLCmmons、英伟达公司、甲骨文公司、Scale AI Inc.、Together Computing Inc. 等众多公司。
Meta 今天宣布这一倡议的时机紧随其加入 IBM 公司 AI 联盟之后,似乎是为了实现后者组织的目标而迈出的第一步,Constellation Research Inc. 副总裁兼首席分析师 Andy Thurai 表示。「在委员会工作成果发布之前,甚至在团队确定之前,Meta 已经提前发布了一套工具和框架,」分析师指出。
Thurai 补充说,值得一提的是,Meta 正在与一些尚未加入 AI 联盟的公司合作,包括 AWS、谷歌、微软和英伟达,这些是行业最大的参与者之一。
「Meta 计划将它们用于商业和研究领域的许可,这是 LLaMa 模型许可选项限制最大的不满,」Thurai 补充说。「所提出的工具集旨在帮助 LLM 生产者评估 LLM 安全风险、不安全代码输出评估,和/或可能限制输出,防止恶意行为者利用这些开源 LLM 进行网络攻击。这是一个良好的第一步,我希望看到更多。」
Purple Llama 项目的组成部分,包括 CyberSec Eval 和 Llama Guard,将基于宽松的许可进行许可,允许研究和商业使用。Meta 表示,它将在 12 月 10 日开始的 NeurIPs 2023 活动上展示这些组件的第一批,并为希望实施它们的开发者提供技术深入解析。
卷完参数后,大模型公司又盯上了“长文本”?
4000到40万token,大模型正在以“肉眼可见”的速度越变越“长”。长文本能力似乎成为象征着大模型厂商出手的又一新“标配”。站长网2023-10-12 14:39:250000高盛首席投资官称,混合人工智能和应用程序将成为 2024 年的焦点
**划重点:**1.🧠**混合人工智能主导:**金融巨头高盛首席投资官表示,2024年将以"混合"人工智能为主导,强调利用大型语言模型的应用程序的崛起。2.🌐**基础模型限制:**只有像OpenAI这样的最富有的公司才能构建类似GPT-4的“基础模型”,其他公司需要构建更小、更专注的程序以连接到这些基础模型。0000OPPO小布将具备AI大模型能力 基于AndesGPT打造
OPPO宣布,基于AndesGPT打造的全新小布助手将开启大型体验活动。小布助手将具备AI大模型能力,拥有更强的对话能力和内容创作能力。据介绍,AndesGPT是由OPPO安第斯智能云团队打造的基于混合云架构的生成式大语言模型。该团队在两年前开始探索和落地预训练语言模型,自研了不同参数量的大模型OBERT。站长网2023-08-14 08:26:470003Nomic AI发布开源嵌入模型Nomic Embed,击败OpenAI的Ada-002
**划重点:**1.🏆NomicEmbed在短文和长文任务中胜过OpenAI的Ada-002和text-embedding-3-small模型。2.🔍模型支持最大8192的上下文长度,通过MassiveTextEmbeddingBenchmark(MTEB)和LoCoBenchmark表现优异。站长网2024-02-02 14:38:300000全球最快AI芯片WSE-3发布 性能碾压H100!
要点:1.全球最强AI芯片WSE-3发布,单机可训24万亿参数的模型,性能远超英伟达H100GPU。2.WSE-3采用4万亿晶体管5nm制程,具备90万个AI核心和44GB片上SRAM存储,峰值性能达到125FP16PetaFLOPS,并实现了单芯片集群级性能。站长网2024-03-15 09:42:450000