华盛顿大学推高效大模型调优方法

要点:1、代理调优方法无需接触模型的内部权重。2、通过对比小型调整模型和未调整模型的预测结果来引导基础模型的预测。3、代理调优方法能够在解码时更好地保留训练知识。华盛顿大学推出更高效的大模型调优方法“代理调优”，该方法通过对比小型调整模型和未调整模型的预测结果来引导基础模型的预测，实现对模型的调优而无需接触模型的内部权重。