ToonCrafter：自动生成自然、连贯的卡通动画中间帧

划重点:

🔆 ToonCrafter 通过生成性插值方法生成卡通中间帧，利用预训练的图像到视频扩散先验。

📝 能够适应不同的动画风格，比如简单的线条动画和复杂的卡通场景都可以

🧰 ToonCrafter 目前支持生成高达16帧、分辨率为512x320的视频。

近日，一项名为 ToonCrafter 的研究项目备受关注，该项目通过生成性插值方法，在卡通动画帧之间生成自然、连贯的中间帧，并利用预训练的图像到视频扩散先验。

简单的说，通过 ToonCrafter，用户可以插值两个卡通图像，生成连续的视频。项目展示中呈现了多个示例，包括输入起始帧、输入结束帧和生成的视频，展示了生成视频的过程和效果。

除了基本的中间插帧功能外，ToonCrafter 还支持稀疏草图引导和参考草图着色，拓展了其在卡通图像处理领域的应用场景。也就是提供一张或参考图像，系统将根据参考图像的颜色和风格，对输入的草图进行上色处理。

在模型方面，ToonCrafter 目前可以支持生成高达16帧、分辨率为512x320的视频，同时推理时间可以通过减少 DDIM 步骤来缩短。此外，项目还提供了安装环境、推理方法等方面的指引，为用户提供了使用 ToonCrafter 的指南和支持。