南洋理工发布提高AI视频生成内容一致性方法FreeInit

要点:

FreeInit方法提升视频扩散模型生成的时空一致性。

通过发现噪声初始化在视频扩散模型中存在的隐含训练-推理差距，提出了FreeInit，无需额外训练，不引入可学习参数。

FreeInit通过迭代优化推理初始噪声的时空低频组件，弥补训练和推理之间的初始化差距，显著提高生成结果的时空一致性。

南洋理工大学发布了一项名为FreeInit的方法，该方法可以大幅提高人工智能视频生成的内容一致性。演示显示这一方法非常流畅，并且可以与现有的SD生态结合。此外，他们还发表了与Animatediff结合的方法，只需等待一些专业人士制作插件，就可以使用这一方法。视频中展示了使用了FreeInit和未使用FreeInit的Animaetdiff的对比。

项目地址:https://tianxingwu.github.io/pages/FreeInit/

根据他们的介绍，他们深入研究了视频扩散模型的噪声初始化，并发现了一个隐含的训练-推断差距，导致了推断质量的下降。他们的关键发现包括推断时初始潜变量的信噪比（SNR）的时空频率分布与训练时本质上不同，以及去噪过程受到初始噪声的低频分量的显著影响。

在受到这些观察的启发下，他们提出了一种简洁而有效的推断采样策略FreeInit，该策略能够显著改善扩散模型生成的视频的时间一致性。通过在推断过程中迭代地优化初始潜变量的时空低频分量，FreeInit能够弥补训练和推断之间的初始化差距，从而有效改善生成结果的主体外观和时间一致性。

FreeInit以迭代方式改进推断初始噪声，通过DDIM采样、DDPM前向和噪声重新初始化，初始噪声的低频成分逐渐得到改进，从而持续增强时间一致性和主体外观。

这一方法的发布为人工智能视频生成领域带来了新的突破，将有望提高视频生成的质量和时间一致性。随着这一技术的不断发展和完善，相信将会为视频内容创作和人工智能应用带来更多的可能性。