即插即用,完美兼容:SD社区的图生视频插件I2V-Adapter来了
图像到视频生成(I2V)任务旨在将静态图像转化为动态视频,这是计算机视觉领域的一大挑战。其难点在于从单张图像中提取并生成时间维度的动态信息,同时确保图像内容的真实性和视觉上的连贯性。大多数现有的 I2V 方法依赖于复杂的模型架构和大量的训练数据来实现这一目标。
近期,由快手主导的一项新研究成果《I2V-Adapter: A General Image-to-Video Adapter for Video Diffusion Models》发布,该研究引入了一个创新的图像到视频转换方法,提出了一种轻量级适配器模块,即 I2V-Adapter,它能够在不需要改变现有文本到视频生成(T2V)模型原始结构和预训练参数的情况下,将静态图像转换成动态视频。
论文地址:https://arxiv.org/pdf/2312.16693.pdf
项目主页:https://i2v-adapter.github.io/index.html
代码地址:https://github.com/I2V-Adapter/I2V-Adapter-repo
相比于现有方法,I2V-Adapter 大幅减少了可训练参数(最低可达22M,为主流方案例如 Stable Video Diffusion [1] 的1%),同时具备与 Stable Diffusion [2] 社区开发的定制化 T2I 模型(DreamBooth [3]、Lora [4])与控制工具(ControlNet [5])的兼容性。通过实验,研究者证明了 I2V-Adapter 在生成高质量视频内容方面的有效性,为 I2V 领域的创意应用开辟了新的可能性。
方法介绍
Temporal modeling with Stable Diffusion
相较于图像生成,视频生成的独特挑战在于建模视频帧间的时序连贯性。现有大多数方案都基于预训练的 T2I 模型(例如 Stable Diffusion 和 SDXL [6])加入时序模块对视频中的时序信息进行建模。受到 AnimateDiff [7] 的启发,这是一个最初为定制化 T2V 任务而设计的模型,它通过引入与 T2I 模型解耦的时序模块建模了时序信息并且保留了原始 T2I 模型的能力,能够结合定制化 T2I 模型生成流畅的视频。于是,研究者相信预训练时序模块可以看作是通用时序表征并能够应用于其他视频生成场景,例如 I2V 生成,且无需任何微调。因此,研究者直接利用预训练 AnimateDiff 的时序模块并保持其参数固定。
Adapter for attention layers
I2V 任务的另一难点在于保持输入图像的 ID 信息,现有方案大多使用一个预训练的图像编码器对输入图像进行编码,并将此编码后的特征通过 cross attention 注入至模型中引导去噪的过程;或在输入端将图像与 noised input 在 channel 维度拼接后一并输入给后续的网络。前者由于图像编码器难以捕获底层信息会导致生成视频的 ID 变化,而后者往往需要改变 T2I 模型的结构与参数,训练代价大且兼容性较差。
为了解决上述问题,研究者提出了 I2V-Adapter。具体来说,研究者将输入图像与 noised input 并行输入给网络,在模型的 spatial block 中,所有帧都会额外查询一次首帧信息,即 key,value 特征都来自于不加噪的首帧,输出结果与原始模型的 self attention 相加。此模块中的输出映射矩阵使用零初始化并且只训练输出映射矩阵与 query 映射矩阵。为了进一步加强模型对输入图像语义信息的理解,研究者引入了预训练的 content adapter(本文使用的是 IP-Adapter [8])注入图像的语义特征。
Frame Similarity Prior
为了进一步增强生成结果的稳定性,研究者提出了帧间相似性先验,用于在生成视频的稳定性和运动强度之间取得平衡。其关键假设是,在相对较低的高斯噪声水平上,带噪声的第一帧和带噪声的后续帧足够接近,如下图所示:
于是,研究者假设所有帧结构相似,并在加入一定量的高斯噪声后变得难以区分,因此可以把加噪后的输入图像作为后续帧的先验输入。为了排除高频信息的误导,研究者还使用了高斯模糊算子和随机掩码混合。具体来说,运算由下式给出:
实验结果
定量结果
本文计算了四种定量指标分别是 DoverVQA (美学评分)、CLIPTemp (首帧一致性)、FlowScore (运动幅度) 以及 WarppingError (运动误差) 用于评价生成视频的质量。表1显示 I2V-Adapter 得到了最高的美学评分,在首帧一致性上也超过了所有对比方案。此外,I2V-Adapter 生成的视频有着最大的运动幅度,并且相对较低的运动误差,表明此模型的能够生成更加动态的视频并且同时保持时序运动的准确性。
定性结果
Image Animation(左为输入,右为输出):
w/ Personalized T2Is(左为输入,右为输出):
w/ ControlNet(左为输入,右为输出):
总结
本文提出了 I2V-Adapter,一种即插即用的轻量级模块,用于图像到视频生成任务。该方法保留原始 T2V 模型的 spatial block 与 motion block 结构与参数固定,并行输入不加噪的第一帧与加噪的后续帧,通过注意力机制允许所有帧与无噪声的第一帧交互,从而产生时序连贯且与首帧一致的视频。研究者们通过定量与定性实验证明了该方法在 I2V 任务上的有效性。此外,其解耦设计使得该方案能够直接结合 DreamBooth、Lora 与 ControlNet 等模块,证明了该方案的兼容性,也促进了定制化与可控图像到视频生成的研究。
用PIT框架提升大型语言模型的质量
要点:1.大型语言模型(LLMs)在各种复杂任务中取得了最先进的结果,但存在限制,如产生不正确的信息、推理错误或无用的内容。2.研究人员提出了“ImplicitSelf-Improvement(PIT)framework”,该框架允许LLMs从人类偏好数据中学习改进目标,无需明确的评分标准。站长网2023-10-07 11:46:220000骁龙8 帧率反超骁龙8 Gen2!荣耀X50 GT发布:1999元起
快科技1月4日消息,今晚19:30,荣耀正式发布了荣耀X50GT机型,这是一款主打越级性能的产品。外观设计上,荣耀X50GT延续了此前荣耀X50的整体方案,正面是一块居中开孔的双曲面屏,背部则是传承了旗舰的星环”模组设计,这次还专门配备了象征性能的龙爪”纹理。机身首创太极缓震架构,借鉴了水利工程的技术原理,让跌落实现软着陆,屏幕整体强度提升3倍,在1.5m高度情况下可以实现多角度防摔。0000iQOO Neo9 Pro主摄公布:搭载索尼IMX920主摄
iQOO官微最新消息,旗下Neo9Pro新机将搭载与vivoX100相同的索尼IMX920主摄,并配备了vivoX100同款影像算法。索尼IMX920这款传感器拥有1/1.49英寸的大底,采用了VCS仿生光谱技术,使捕捉到的画面色彩更接近人眼感知。结合原生画面降噪技术,Neo9Pro将呈现更加纯净清晰的画质。0000即时3D搜索技术OVIR-3D开源 可从文本提示中检索3D对象
要点:1.OVIR-3D是一个开放词汇的3D实例检索系统,能够在没有对3D数据进行训练的情况下,从RGB-D视频和语言查询中返回排名的3D实例段。2.该系统通过将问题视为从语言引导的2D区域提议进行3D融合的问题,提供了一种直观而有效的解决方案,避免了由于缺乏足够种类的注释3D数据而难以直接训练开放词汇3D分割模型的问题。站长网2023-11-10 10:26:340002Google Cloud 推出 Vertex AI 新的数据存储位置功能
Google云服务部今日宣布,为其全套管理型人工智能开发服务VertexAI引入了新的数据存储位置功能。在诸如金融、医疗等受严格监管的行业中,企业通常需要将数据存储在产生数据的国家或地区。GoogleCloud推出的这一新功能正是为了满足这种需求。据Google公司介绍,这一功能将允许客户指定使用VertexAI处理的数据应存放在哪个国家或地区。站长网2023-11-15 19:16:550001