视频版ControlNet开源 CoDeF靠提示词就能精准切换画风
最新视频处理算法 CoDeF 发布不久就引起网友热议,它能将原视频改变画风但保持其他细节不变。该算法由全华人团队开发,已在 GitHub 上开源。
CoDeF 能根据提示词精准控制视频元素改变,比如将风景纪录片秒变为国风水墨大作。它还能跟踪水流动向和穗子摆动频率,细节处理使效果更逼真。此外,CoDeF 也可以让电影角色一键变老,将皱纹添加到脸上而其他细节不受影响。
CoDeF 是一种创新的视频处理方法,通过规范内容场和时间变形场的优化,实现视频重构和各种图像算法在视频上的应用扩展,该算法能够实现更加真实时、强细节、高保真的视频重建。与现有的视频处理方法相比,CoDeF 具有更好的跨帧一致性,并能够处理非刚性物体。
论文地址:
https://arxiv.org/abs/2308.07926
项目地址:
https://qiuyu96.github.io/CoDeF/
该方法通过粒度逐步细化的训练过程,平衡了规范图像的自然性和重建的还原性。实验结果表明,该方法的重建质量显著提高,PSNR 增加了约4.4,规范图像的自然性也有明显改善。
此外,该方法还可以应用于视频超分辨率、视频对象分割、视频关键点跟踪等图像算法的任务,并保持卓越的时间一致性。总的来说,该视频重建算法具有较强的性能,展示了其在视频处理领域的潜力。
特点:
1. CoDeF 是一种全新的视频表示方法,由一个规范内容场和一个时间变形场组成。
2. 规范内容场聚合整个视频中的静态内容,时间变形场记录了从规范图像到每个单独帧的变形过程。
3. 可以通过优化这两个场来重构目标视频,通过精心设计的渲染流程实现。
4. 引入了一些正则化方法,使规范内容场从视频中继承语义信息(例如物体形状)。
5. CoDeF 支持将图像算法应用于视频处理,只需将算法应用于规范图像,再借助时间变形场将结果传播到整个视频中。
6. CoDeF 能够将图像到图像的转换扩展到视频到视频的转换,以及将关键点检测扩展到关键点跟踪,无需任何训练。
7. 通过在只有一张图像上应用算法的扩展策略,CoDeF 在处理的视频中实现了更好的跨帧一致性,甚至可以跟踪非刚性物体如水和烟雾。
百度推多模态模型UNIMO-G 支持还原图片ID
核心要点:百度提出了UNIMO-G统一图像生成框架,通过多模态条件扩散实现文本到图像生成,克服了文本描述简洁性对生成复杂细节图像的挑战。UNIMO-G包含多模态大语言模型(MLLM)和基于编码的多模态输入生成图像的条件去噪扩散网络两个核心组件,通过两阶段训练策略达到统一的图像生成能力。站长网2024-01-26 11:00:070000讲两个小众的赚钱赛道。
先说个观点,赚钱分两种。一种是卖自己的东西。一种是卖别人的东西。简单理解这两句话的意思就是,要么你自己有东西卖,就像工厂一样,造出来想咋卖咋卖,卖了就赚钱。另一种就像是主播一样,自己没东西,但是卖别人的东西可以赚取佣金。显然,最适合普通人积累财富的就是卖别人的东西。卖别人的东西只要解决两个问题;卖什么?怎么卖?站长网2023-07-04 00:57:080000智源团队推出「生长策略」 解决大模型训练算力成本过高问题
近日,智源研究院联合中科院计算所、南洋理工大学(新加坡)、电子科技大学(成都)、哈尔滨工业大学(深圳)的研究团队共同提出了一种「生长策略」(growthstrategy),以解决大模型算力成本极高的问题。站长网2023-09-21 09:13:570001Narakeet:一个文本转语音工具 支持上传文档
Narakeet是一个能够将WordDOCX和纯文本文件转为语音的工具。该产品能够为用户提供高品质的语音合成和叙述视频制作服务。用户只需上传文档,Narakeet就可以为其生成语音内容,无需复杂的技术操作。站长网2024-03-01 18:18:120000PyTorch团队重写Meta“分割一切”模型 性能提速8倍
要点:PyTorch团队通过对Meta的「分割一切」(SAM)模型进行重写,使其在原始实现的基础上提速8倍,同时保持准确率。优化方法包括采用PyTorch原生特性如Torch.compile、GPU量化、SDPA等,以及使用半精度(bfloat16)、自定义Triton内核、NestedTensor、量化、半结构化稀疏性等操作。站长网2023-11-22 11:56:360001