单张静止图像就能生成高质量视频

视频合成最近取得了显著的进步，这得益于扩散模型的快速发展。然而，它在语义准确性、清晰度和时空连续性方面仍然存在挑战。它们主要源于文本-视频数据的稀缺性和视频的复杂固有结构，使得模型难以同时确保语义和定性的卓越性。阿里巴巴、浙江大学和华中科技大学的研究人员提出了一种级联的I2VGen-XL方法，该方法通过解耦这两个因素来增强模型性能，并通过利用静态图像作为关键指导形式来确保输入数据的对齐。