Rerender

RerenderAVideo是一项令人印象深刻的技术成果，它旨在将大型文本到图像扩散模型的能力扩展到视频领域。该项目提出了一种零训练的文本引导视频到视频翻译框架，能够在视频帧之间确保时间一致性，这一直是一个巨大的挑战。它包括两个主要部分:关键帧翻译和完整视频翻译。第一部分使用适应的扩散模型生成关键帧，通过应用层次交叉帧约束来强化形状、纹理和颜色的连贯性。