英伟达开源大模型对齐框架—NeMo-Aligner
随着ChatGPT、Midjourney等大模型产品的影响力、应用场景越来越多,为了确保输出的内容安全、可靠,对齐成为开发人员的关注重点和难点。
但现在的模型参数少则几百亿多则上千亿,想通过传统的监督式微调方法来完成对齐效果往往不理想。
因此,英伟达的研究人员开源了安全对齐框架NeMo-Aligner。这是一个包括人类反馈进行强化学习(RLHF)、直接偏好优化(DPO)、SteerLM和自我对弈微调等技术合集,可帮助开发人员极大提升模型的安全性能和稳定输出。
开源地址:https://github.com/nvidia/nemo-aligner
论文地址:https://arxiv.org/abs/2405.01481v1
下面为大家介绍两个效果比较好、常用的NeMo-Aligner对齐方法。
RLHF
RLHF是NeMo-Aligner框架的核心模块之一,主要通过人类反馈来引导大模型学习,使其输出更符合人类的价值观和偏好,同时采用了近端策略算法(PPO)来优化语言模型的行为。
训练过程主要分为三个阶段:初始阶段,从预训练的基础模型开始,进行监督微调。在监督微调中,使用输入提示和期望的回复对基础模型的参数进行更新,使其尽可能地模仿期望的回复。这一阶段是为了确保基础模型能够生成符合用户指令的回复。
奖励模型训练阶段,使用一组设定好的人类偏好数据,例如,问答的特定输出格式,来训练一个奖励模型,以最大化预测奖励与人类偏好一致的可能性。通常,会在监督微调的模型之上初始化一个线性奖励模型头部,并在其上进行训练。
策略优化训练,基于训练好的奖励模型,通过PPO进行优化训练。在训练过程中,使用基于KL散度的正则化项,防止策略偏离起始点太远并利用奖励模型的盲点。
SteerLM
SteerLM主要通过引导大模型的生成流程来实现安全对齐,使用了一种“引导信号”的指导策略。可将开发者希望的输出模式注入到模型的训练中,以引导模型生成更符合预期的响应。
首先,需要准备一个包含输入提示和期望输出的数据集对。这些输入提示可以是用户提供的指令或问题,而期望输出是模型生成的响应。
根据输入提示和期望输出,生成引导信号。引导信号可以采用不同的方式生成,例如,使用规则、基于规则的策略或者其他的启发式方法,可以控制生成文本的风格、主题、情感等内容。
例如,在多轮AI对话中,可以指导模型生成符合用户期望的回答;在文本摘要任务中,可以指导模型生成更加准确和有信息量的摘要内容;在机器翻译任务中,可以使模型生成更加准确和流畅的翻译结果。
阿里巴巴国际站发布全链路外贸AI产品 包括生意助手、OKKI AI
阿里巴巴国际站推出了全链路外贸AI产品,拥有多项功能,包括智能商品发布与管理、市场分析、客户接待、实时翻译和企业管理等,覆盖了外贸生意的各个环节。据悉,该产品包含生意助手和OKKIAI,阿里国际站商家可以使用AI“生意助手”,而OKKIAI则面向全行业所有商家开放。站长网2023-08-24 23:31:520001OpenAI 声称纽约时报通过作弊方式让ChatGPT复述文章
划重点:-🤖OpenAI声称纽约时报使用“欺骗性提示”让ChatGPT复述其内容,并要求法院驳回诉讼中的多项指控。-📰OpenAI指称纽约时报利用其产品的漏洞,直接向聊天机器人输入文章内容,导致侵权行为。-⚖️OpenAI寻求部分驳回纽约时报关于直接侵权指控的诉讼,同时也否认其他多项指控。站长网2024-02-28 10:28:520000小米15全系标配超声波指纹:息屏状态解锁速度提高50%
小米公司宣布,小米15系列手机将全系标配超声波指纹识别技术,官方宣称,小米15系列手机在亮屏状态下的解锁速度提升了25%,而在息屏状态下的解锁速度更是提高了50%。0000iPad Pro/Air双剑齐发!苹果发布会仅35分钟
快科技5月6日消息,据爆料人MarkGurman透露,苹果将于5月7日举行的发布会预计仅持续35分钟,届时将推出4款新品:iPadPro、iPadAir、ApplePencil和妙控键盘。其中新款iPadPro将提供11英寸和12.9英寸两种尺寸,首次采用OLED屏幕,支持LTPO技术和120HzProMotion显示,采用双串联结构,具有高亮度、长寿命和更好的电池续航表现。站长网2024-05-06 10:54:540000小米宣布澎湃OS版本调整:Beta版替换开发版 升级无需清除数据
快科技5月9日消息,今日,小米发布澎湃OS系统版本调整公告,为提升小米澎湃OS系统的版本质量,小米将用全新的Beta版模式替换当前的开发版模式。未来,小米澎湃OS将提供两个版本:面向前期内测用户的Beta版,和面向全量用户的正式版。据介绍,Beta版有无缝升级和节奏更灵活两个优点。无缝升级:Beta版与正式版之间升级无需清除数据,Beta版也能收到正式版的升级推送。站长网2024-05-09 23:07:160000