字节复旦团队提出meta prompts 扩散模型图像理解力刷新SOTA

过去一年扩散模型风头正劲，彻底改变了文生图领域!那么，扩散模型能否处理视觉感知任务?字节跳动和复旦大学技术团队在最新研究中提出了一个简单有效的方案。扩散模型在生成高清晰度图像方面显示出了卓越的能力，这一成就得益于其在大规模图像-文本对上的预训练。团队提出了一种利用扩散模型处理视觉感知任务的方案，通过引入可学习的元提示到预训练的扩散模型中，以提取适合特定感知任务的特征。

项目地址:https://github.com/fudan-zvg/meta-prompts

视觉感知任务的多样性超出了文本驱动方法的范畴，因此技术团队提出了一种内部的可学习元提示，称为meta prompts，这些meta prompts被集成到扩散模型中，以适应感知任务。Meta prompts可以根据目标任务和数据集进行端到端的训练，从而为去噪UNet建立特别定制的适应条件。这些meta prompts包含丰富的、适应于特定任务的语义信息，有效展示了对类别的识别能力、对深度的感知能力以及关键点的感知。

扩散模型通过其固有的设计，在去噪UNet中生成多尺度特征，但视觉感知任务通常需要理解既包括低级细节的又包括高级语义解释的内容。为了解决这一问题，技术团队引入了meta prompts作为特征重组的过滤器，将UNet的多尺度特征与meta prompts的任务适应性结合起来，并将经过meta prompts过滤的特征输入到特定任务的解码器中，从而提高模型在视觉识别任务中的性能。

技术团队还为视觉感知任务设计了一个简单的recurrent refinement过程，通过将UNet的输出特征循环输入到UNet中，并引入可学习的独特的timestep embeddings，以调制UNet的参数，从而优化特征提取过程，增强模型在视觉感知任务中的性能。实验结果显示，该方法在多个感知任务数据集上都取得了最优。

该研究提出的方法和技术有广泛的应用前景，可以在自动驾驶、医学影像分析、机器人视觉系统等领域中提升视觉感知任务的性能。此外，该方法还可以在艺术创作、虚拟现实、增强现实等领域中用于提高图像和视频的质量和互动性。随着技术的进步，这些方法可能会进一步完善。