英伟达开源大模型对齐框架

随着ChatGPT、Midjourney等大模型产品的影响力、应用场景越来越多，为了确保输出的内容安全、可靠，对齐成为开发人员的关注重点和难点。但现在的模型参数少则几百亿多则上千亿，想通过传统的监督式微调方法来完成对齐效果往往不理想。