谷歌、康奈尔提出真实的图像补全技术RealFill

要点:

1. 谷歌和康奈尔提出的RealFill技术能使用少量参考图像实现真实的图像补全，保持场景的一致性和真实性。

2. RealFill通过微调预训练的模型，并使用标准的扩散采样来填充目标图像的缺失区域，同时处理不同视角和光照条件。

3. 实验结果显示RealFill在场景保真度和与参考图像的一致性方面表现出色，相比其他方法更具优势。

谷歌研究与康奈尔大学合作提出了一项名为RealFill的真实图像补全技术，旨在解决图像修复中的真实性和场景一致性问题。该技术的核心目标是使用少量的参考图像来填充给定目标图像的缺失部分，同时尽可能保持原始场景的真实性。

RealFill的优势在于其能够使用最多5张不需要与目标图像完全一致的参考图像，甚至可以在视角、光线条件、相机光圈或图像风格等方面存在极大差异。通过对参考图像和目标图像进行微调，创建一个个性化的生成模型，RealFill保持了图像的视觉先验，同时学习了输入图像的场景内容、光照和风格。然后，使用微调后的模型，通过标准的扩散采样过程来填充目标图像中的缺失区域。

论文链接:https://arxiv.org/abs/2309.16668

项目页面:https://realfill.github.io/

RealFill特别关注处理具有挑战性的情况，包括不同视点、环境条件、相机光圈、图像风格以及移动的对象。实验结果显示，该技术能够生成视觉上引人入胜且与参考图像一致的图像内容，即使参考图像与目标图像之间存在巨大差异。

与其他基准方法相比，RealFill表现出更高的场景保真度和与参考图像的一致性。相比之下，其他方法如Paint-by-Example依赖于CLIP嵌入，而Stable Diffusion Inpainting则在表达能力上存在限制，无法实现高度的场景保真。RealFill的优势在于通过添加更多条件（参考图像）来扩展生成型图像修复模型的表达力，提供了更好的结果。

然而，RealFill也存在一些局限性，包括处理速度较慢、在大幅度视点变化时无法恢复3D场景以及无法处理对基础模型具有挑战性的情况。尽管如此，RealFill技术为图像修复领域带来了重要的进展，能够生成更真实和一致的图像内容，为图像处理和编辑提供了有力的工具。

在图像修复领域，RealFill技术的出现为解决真实性和一致性的问题提供了创新性的方法，使图像补全更加真实、高质量。这项技术的应用潜力广泛，将为图像处理和编辑领域带来新的可能性，使我们能够获得更完美的图像。