登陆注册
7852

视频版ControlNet开源 CoDeF靠提示词就能精准切换画风

站长网2023-08-21 09:29:352

最新视频处理算法 CoDeF 发布不久就引起网友热议,它能将原视频改变画风但保持其他细节不变。该算法由全华人团队开发,已在 GitHub 上开源。

CoDeF 能根据提示词精准控制视频元素改变,比如将风景纪录片秒变为国风水墨大作。它还能跟踪水流动向和穗子摆动频率,细节处理使效果更逼真。此外,CoDeF 也可以让电影角色一键变老,将皱纹添加到脸上而其他细节不受影响。

CoDeF 是一种创新的视频处理方法,通过规范内容场和时间变形场的优化,实现视频重构和各种图像算法在视频上的应用扩展,该算法能够实现更加真实时、强细节、高保真的视频重建。与现有的视频处理方法相比,CoDeF 具有更好的跨帧一致性,并能够处理非刚性物体。

论文地址:

https://arxiv.org/abs/2308.07926

项目地址:

https://qiuyu96.github.io/CoDeF/

该方法通过粒度逐步细化的训练过程,平衡了规范图像的自然性和重建的还原性。实验结果表明,该方法的重建质量显著提高,PSNR 增加了约4.4,规范图像的自然性也有明显改善。

此外,该方法还可以应用于视频超分辨率、视频对象分割、视频关键点跟踪等图像算法的任务,并保持卓越的时间一致性。总的来说,该视频重建算法具有较强的性能,展示了其在视频处理领域的潜力。

特点:

1. CoDeF 是一种全新的视频表示方法,由一个规范内容场和一个时间变形场组成。

2. 规范内容场聚合整个视频中的静态内容,时间变形场记录了从规范图像到每个单独帧的变形过程。

3. 可以通过优化这两个场来重构目标视频,通过精心设计的渲染流程实现。

4. 引入了一些正则化方法,使规范内容场从视频中继承语义信息(例如物体形状)。

5. CoDeF 支持将图像算法应用于视频处理,只需将算法应用于规范图像,再借助时间变形场将结果传播到整个视频中。

6. CoDeF 能够将图像到图像的转换扩展到视频到视频的转换,以及将关键点检测扩展到关键点跟踪,无需任何训练。

7. 通过在只有一张图像上应用算法的扩展策略,CoDeF 在处理的视频中实现了更好的跨帧一致性,甚至可以跟踪非刚性物体如水和烟雾。

0002
评论列表
共(0)条