登陆注册
13919

新AI框架DreamSync:结合图像理解模型的反馈 改善文本到图像合成

站长网2023-12-06 11:03:480

**划重点:**

1. 🌐 DreamSync是由南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队引入的新型人工智能框架,致力于提高扩散型文本到图像(T2I)模型的对齐性和审美吸引力,无需人工标注、模型架构修改或强化学习。

2. 🚀 DreamSync通过生成候选图像,利用视觉问答(VQA)模型进行评估,并对文本到图像模型进行微调,成功解决了T2I模型中对齐和美感的挑战。该框架不依赖特定架构或标记数据,采用视觉语言模型(VLMs)鉴别生成图像与输入文本之间的差异。

3. 📈 DreamSync通过模型不可知的框架,结合VLMs的反馈,取得了在T2I模型上显著的对齐和视觉吸引力改进,超越了基准方法,拓展了在分布内外场景中的适用性。

来自南加州大学、华盛顿大学、巴伊兰大学和谷歌研究团队的研究人员推出了DreamSync,这是一种新型人工智能框架,致力于解决扩散型文本到图像(T2I)模型中对齐和审美吸引力的问题,而无需进行人工标注、修改模型架构或使用强化学习。

DreamSync的方法是通过生成候选图像,利用视觉问答(VQA)模型对其进行评估,然后对文本到图像模型进行微调。此过程无需特定的架构或标记数据,采用了模型不可知的框架,并利用视觉语言模型(VLMs)来识别生成的图像与输入文本之间的差异。该框架的关键步骤包括生成多个候选图像,使用两个专用的VLMs对它们进行文本忠实度和图像美感的评估,然后选择VLM反馈确定的最佳图像进行文本到图像模型的微调,迭代至收敛。

此外,框架还引入了迭代自举方法,利用VLMs作为教师模型对未标记数据进行标记,用于T2I模型的训练。

DreamSync成功提升了SDXL和SD v1.4T2I模型的性能。在TIFA上进行的实验显示,对SDXL进行三次迭代,文本忠实度提高了1.7%和3.7%,视觉美感提高了3.4%。将DreamSync应用于SD v1.4,文本忠实度提高了1%,TIFA上的得分绝对增加了1.7%,美感提高了0.3%。

在与SDXL的比较研究中,DreamSync在对齐方面表现更好,生成的图像具有更相关的组件和3.4个更正确的答案。在TIFA和DSG基准测试中,DreamSync实现了更卓越的文本忠实度,而不损害视觉外观,显示出随着迭代的逐渐改进。

DreamSync是一个多功能的框架,在具有挑战性的T2I基准测试中进行了评估,显示出在分布内外场景中对齐和视觉吸引力方面的显著改进。该框架结合了来自视觉语言模型的双重反馈,并通过人类评分和偏好预测模型进行了验证。

未来,DreamSync的改进方向包括通过详细注释(如边界框)来巩固反馈,调整每次迭代的提示以针对文本到图像合成中的特定改进,探索语言结构和注意力图以增强属性-对象绑定,以及使用人类反馈训练奖励模型,以进一步使生成的图像与用户意图一致。同时,拓展DreamSync的应用到其他模型架构,并在不同场景中进行性能评估和额外研究也是未来持续调查的方向。

论文网址:https://arxiv.org/abs/2311.17946

0000
评论列表
共(0)条