CMU与Google DeepMind研究人员推出AlignProp：微调文本到图像扩散模型的创新方法

卡内基梅隆大学（CMU）和Google DeepMind的研究人员引入了一种突破性的方法，称为"AlignProp"。该方法利用直接反向传播来微调文本到图像扩散模型，解决了将这些模型与所需的奖励功能对齐的挑战。AlignProp提供了一种更高效和有效的方式来优化文本到图像扩散模型，适用于图像生成等领域。

项目地址：https://align-prop.github.io/

概率扩散模型的崛起

概率扩散模型已经成为连续领域生成建模的标准。DALLE，一种文本到图像扩散模型，已经成为该领域的领导者。这些模型以其能够通过在广泛的网络规模数据集上训练来生成图像的能力而闻名。然而，它们的无监督或弱监督性质使得在下游任务中控制其行为，如优化图像质量、图像文本对齐或伦理图像生成成为一项具有挑战性的任务。

微调扩散模型的挑战

最近的尝试使用强化学习技术来微调扩散模型受制于梯度估算中的高方差。AlignProp通过在去噪过程中启用奖励梯度的端到端反向传播，从而对这一问题提供了创新性的解决方案，将扩散模型与所需的奖励功能对齐。

AlignProp的创新特点:

AlignProp引入了一些创新特点，以提高微调扩散模型的效率:

减轻高内存需求: AlignProp通过微调低秩适配器权重模块和实施梯度检查点来减轻通常与现代文本到图像模型的反向传播相关的高内存需求。

性能评估: 研究论文评估了AlignProp在微调扩散模型以实现各种目标的性能，包括图像文本语义对齐、美学、图像可压缩性以及生成图像中对象数量的可控性等目标的性能。AlignProp在较少的训练步骤中实现了更高的奖励，胜过了其他方法。

概念上的简单性: AlignProp因其概念上的简单性而备受赞誉，使其成为基于可区分奖励函数的扩散模型优化的明智选择。

提高采样效率和计算有效性

AlignProp利用从奖励函数获得的梯度来微调扩散模型。这种方法提高了采样效率和计算有效性。实验一致表明，AlignProp在优化一系列奖励函数方面的有效性，甚至对于难以仅通过提示定义的任务也是如此。

未来的研究方向

未来，研究人员可以探索将AlignProp的原则扩展到基于扩散的语言模型，以增强其与人类反馈的一致性。