英伟达推出 NeMo Guardrails 帮助企业指导和控制 AI 回应
生成式人工智能和大型语言模型(LLMs)的一个主要挑战是用户可能得到不适当或不准确的回应的风险。

英伟达非常了解保护组织及其用户的需要,日前它发布了新的 NeMo Guardrails 开源框架以帮助解决这一挑战。NeMo Guardrails 项目提供了一种方法,使为不同用例(包括聊天机器人)构建和部署 LLM 的组织能够确保响应保持在正轨上。
Guardrails 提供了一套用新的政策语言定义的控制措施,以帮助定义和执行限制,确保人工智能的回应是有主题的、安全的,不会引入任何安全风险。
「我们认为,每个企业都将能够利用生成式人工智能来支持他们的业务,」英伟达应用研究副总裁 Jonathan Cohen 在一次新闻和分析师简报会上说。「但为了在生产中使用这些模型,以安全可靠的方式部署它们非常重要。」
Cohen 解释说, Guardrails (护栏)是一个指南,帮助人类和人工智能之间的对话保持在正轨上。
英伟达对人工智能护栏的思考方式,有三个主要类别,其中有特定的需求。第一类是主题护栏,这都是为了确保人工智能的回应真正保持在主题上。主题护栏也是为了确保回应保持正确的语气。
安全护栏是第二个主要类别,旨在确保回应是准确的,并经过事实检验。还需要对回应进行检查,以确保它们是符合道德的,不包括任何形式的有害内容或错误信息。Cohen 承认人工智能「幻觉」的一般概念,即为什么需要安全护栏。对于人工智能的幻觉,如果 LLM 在其知识库中没有正确的信息,就会产生错误的反应。
英伟达认为需要的第三类护栏是安全。Cohen 表示,随着 LLM 被允许连接到第三方 API 和应用程序,它们可能成为网络安全威胁的一个有吸引力的攻击面。
Cohen 说:「每当你允许一个语言模型在世界范围内实际执行一些行动时,你要监控哪些请求被发送到该语言模型」。
通过 NeMo Guardrails,英伟达正在做的是为组织在部署人工智能驱动的应用程序时考虑的工具和模型的堆栈添加另一层。
Guardrails 框架是部署在用户和支持 LLM 的应用程序之间的代码。NeMo Guardrails 可以直接与 LLM 或 LangChain 一起工作。Cohen 指出,许多现代人工智能应用都使用开源的 LangChain 框架,以帮助建立将来自 LLM 的不同组件连锁起来的应用。
Cohen 解释说,NeMo Guardrails 通过一个复杂的上下文对话引擎,监控与 LLM 驱动的应用程序之间的对话。该引擎跟踪对话的状态,并为开发者提供一种可编程的方式来实现护栏。
NeMo Guardrails 的可编程性是通过英伟达创建的新 Colang 策略语言实现的。Cohen 说,Colang 是一种特定领域的语言,用于描述对话流。
Cohen 称:「Colang 源代码读起来非常像自然语言。这是一个非常容易使用的工具,它非常强大,它让你在本质上用看起来几乎像英语的东西来编写语言模型。」
在推出时,英伟达正在为预建的通用政策提供一套模板,以实现专题、安全和安保护栏。该技术以开源的形式免费提供,英伟达还将为企业提供商业支持,作为 Nvidia AI 企业套装软件工具的一部分。
「我们的目标实际上是使大型语言模型的生态系统能够以安全、有效和有用的方式发展,」Cohen 说。「如果你害怕他们可能说什么,就很难使用语言模型,因此我认为护栏解决了一个重要的问题。」
苹果筹备 iPhone 16 Pro 的 AI 功能应对智能手机 AI 竞赛的挑战
随着Google、高通和三星在其旗舰智能手机中大力推广AI技术,苹果公司面临在即将推出的iPhone16Pro中整合AI技术的紧迫挑战。据Bloomberg的MarkGurman报道,由于iPhone16和16Pro不会有任何重大的硬件特性,苹果公司正把重点放在iOS18上,该操作系统将搭载新的AI功能,这对苹果公司来说比往常更为关键。站长网2023-11-14 17:41:4000007月国产网络游戏版号下发 共105款游戏获批过审
今日,国家新闻出版署发布7月国产网络游戏审批信息,共105款游戏获批。其中包括了《欢乐搭方块》、《鬼谷八荒》移动端、《三国杀:一将成名》、《乂闻录:轮回》移动端等。0000谷歌 27 亿美元交易后,Character.ai 因成本问题放弃构建人工智能模型
站长之家(ChinaZ.com)10月3日消息:Character.ai正通过专注于改进其消费者产品,而非构建AI模型,力求从谷歌以27亿美元挖走其创始人的事件中恢复元气。随着对大型科技公司可能压制初创公司竞争力的担忧加剧,Character.ai正试图保持竞争优势。0000库克现身苹果静安店:亲自为全新零售店揭幕
昨晚7点,备受瞩目的上海静安寺AppleStore零售店盛大开业。这一重要时刻,苹果公司的CEO库克亲临现场,亲自为这家全新的零售店揭幕,与广大果粉共同见证这一盛事。站长网2024-03-22 10:16:190000OpenAI 称《纽约时报》版权诉讼毫无根据 数据来自公开渠道
站长之家(ChinaZ.com)1月9日消息:人工智能公司OpenAI日前对《纽约时报》提起的版权诉讼做出公开回应,称利用公开文章等数据训练AI系统属于“合理使用”。0000