新AI框架DreamSync:结合图像理解模型的反馈 改善文本到图像合成

**划重点:**

1. 🌐 DreamSync是由南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队引入的新型人工智能框架，致力于提高扩散型文本到图像（T2I）模型的对齐性和审美吸引力，无需人工标注、模型架构修改或强化学习。

2. 🚀 DreamSync通过生成候选图像，利用视觉问答（VQA）模型进行评估，并对文本到图像模型进行微调，成功解决了T2I模型中对齐和美感的挑战。该框架不依赖特定架构或标记数据，采用视觉语言模型(VLMs)鉴别生成图像与输入文本之间的差异。

3. 📈 DreamSync通过模型不可知的框架，结合VLMs的反馈，取得了在T2I模型上显著的对齐和视觉吸引力改进，超越了基准方法，拓展了在分布内外场景中的适用性。

来自南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队的研究人员推出了DreamSync，这是一种新型人工智能框架，致力于解决扩散型文本到图像（T2I）模型中对齐和审美吸引力的问题，而无需进行人工标注、修改模型架构或使用强化学习。

DreamSync的方法是通过生成候选图像，利用视觉问答（VQA）模型对其进行评估，然后对文本到图像模型进行微调。此过程无需特定的架构或标记数据，采用了模型不可知的框架，并利用视觉语言模型(VLMs)来识别生成的图像与输入文本之间的差异。该框架的关键步骤包括生成多个候选图像，使用两个专用的VLMs对它们进行文本忠实度和图像美感的评估，然后选择VLM反馈确定的最佳图像进行文本到图像模型的微调，迭代至收敛。

此外，框架还引入了迭代自举方法，利用VLMs作为教师模型对未标记数据进行标记，用于T2I模型的训练。

DreamSync成功提升了SDXL和SD v1.4T2I模型的性能。在TIFA上进行的实验显示，对SDXL进行三次迭代，文本忠实度提高了1.7%和3.7%，视觉美感提高了3.4%。将DreamSync应用于SD v1.4，文本忠实度提高了1%，TIFA上的得分绝对增加了1.7%，美感提高了0.3%。

在与SDXL的比较研究中，DreamSync在对齐方面表现更好，生成的图像具有更相关的组件和3.4个更正确的答案。在TIFA和DSG基准测试中，DreamSync实现了更卓越的文本忠实度，而不损害视觉外观，显示出随着迭代的逐渐改进。

DreamSync是一个多功能的框架，在具有挑战性的T2I基准测试中进行了评估，显示出在分布内外场景中对齐和视觉吸引力方面的显著改进。该框架结合了来自视觉语言模型的双重反馈，并通过人类评分和偏好预测模型进行了验证。

未来，DreamSync的改进方向包括通过详细注释（如边界框）来巩固反馈，调整每次迭代的提示以针对文本到图像合成中的特定改进，探索语言结构和注意力图以增强属性-对象绑定，以及使用人类反馈训练奖励模型，以进一步使生成的图像与用户意图一致。同时，拓展DreamSync的应用到其他模型架构，并在不同场景中进行性能评估和额外研究也是未来持续调查的方向。

论文网址:https://arxiv.org/abs/2311.17946