综艺后期狂喜:编辑一帧,整个视频跟着变!比LNA渲染快5倍,Adobe联合出品
前不久跑男为了让“kunkun”原地消失,后期只能一帧一帧的抠图。
现在,只要编辑一帧,整个视频就跟着变!
就是点点kunkun,整集就自动消失的那种(手动狗头)。

Adobe Research和英属哥伦比亚大学的研究人员发现,使用INVE(交互式神经视频编辑),只需在单帧上“画笔涂鸦”,就能自动应用改动到整个视频中。
不仅可以编辑视频中的对象并保留空间和光影关系,甚至可以编辑移动对象的纹理色彩。
网友惊呼:太牛了!

交互式神经视频编辑
INVE(Interactive Neural Video Editing)是一种实时视频编辑解决方案。
研究团队受到分层神经图集(LNA)的研究启发。测试发现,通过使用INVE,可以将稀疏帧编辑一致地传播到整个视频剪辑,辅助视频编辑过程。

视频中的场景通常由非静态背景和一个或多个前景物体组成,运动轨迹也会不同。
早期的2D方法需要独立编辑每一帧,并使用帧间跟踪来协调整个视频。

假如我们要把这个小狗头像放在车门上,按照传统方式,视频中车是往前移动的,为避免不出现溢出效果,就需要一帧一帧训练和测试反复编辑。
这种方式费时费力不说,还容易导致明显的视觉伪影。
而最近发展起来的分层神经图集(LNA)方法,可以通过一组分层神经网络2D图集对单个训练和测试,达到编辑整个视频的效果。
虽避免了逐帧编辑,但也有一些问题,比如处理速度较慢、对某些编辑用例支持不足。
因此,研究团队基于LNA方法,通过学习图像图集和图像之间的双向函数映射,并引入矢量化编辑,使得在图集和图像中一致编辑成为可能。
同时,采用多分辨率哈希编码来改善模型的收敛速度。
如何实现
研究团队基于光流提取算法RAFT,在包含70帧且分辨率为768×432的视频上训练和测试模型。
首先,团队在每个训练批次中随机采样了10,000个视频像素,然后设定了一个模型参数值。
通过将GPU优化的Fully Fused MLP架构引入,仅迭代大约12,000个次数就完成训练,相比于LNA的300,000个迭代次数要少得多。

测试显示该方法在单个NVIDIA RTX4090GPU上的渲染速度为24.81FPS,对比LNA的渲染速度5.34FPS,渲染速度快了近5倍。
经过相同数量的迭代训练,团队模型的重建、流场损失都比LNA更快地收敛。
此外,为实现点跟踪,团队选择逆映射的方法,允许添加跟踪单个/少数点的刚性纹理。

团队提出“矢量化素描技术”,将多边形链直接映射到图集中,更精确地控制线条,从而减少计算成本并避免有视觉伪影。
再通过分层编辑,允许在图集之上叠加多个可编辑图层,使每个图层都可独立访问和编辑。
分层编辑支持多种类型的编辑,包括画笔涂鸦、局部调整、纹理编辑。
比如画笔涂鸦,就可以直接使用画笔工具草图涂鸦。
比如纹理编辑,可以导入外部图形,跟踪和变形的运动对象。
研究团队
作者团队由来自Adobe Research、英属哥伦比亚大学、AI Vector研究所和CIFAR AI组成。
第一作者是Jiahui Huang,目前是Adobe Research的研究工程师,硕士毕业于英属哥伦比亚大学。
其他作者包括Kwang Moo Yi、Oliver Wang和Joon Young Lee,整个团队研究方向主要也是在计算机视觉、机器学习和视频编辑领域。
论文地址已贴,感兴趣的可以去看看。
论文传送门 :
https://arxiv.org/abs/2307.07663
参考链接:
[1]https://twitter.com/_akhaliq/status/1681162394393886720/
[2]https://gabriel-huang.github.io/inve/
小米将于5月23日晚8点开启618预售 最高直降3000元
小米公司宣布,将在5月23日晚8点开启小米618科技焕新季预售活动,最高可享受3000元的直降优惠。这次预售活动很值得关注,小米官方海报中出现了RedmiK60系列和小米13标准版的图片。RedmiK60系列的标准版和Pro版本在此前已经降价了300元人民币,这次618购物节有望再次享受降价优惠。此外,小米旗下的新款机型小米Civi3将会在5月25日正式发布,也是一大亮点。站长网2023-05-22 18:00:170001文本生成高精准3D模型,北京智源AI研究院等出品—3D-GPT
北京智源AI研究院、牛津大学、澳大利亚国立大学联合发布了一项研究—3D-GPT,通过文本问答方式就能创建高精准3D模型。据悉,3D-GPT使用了大语言模型的多任务推理能力,通过任务调度代理、概念化代理和建模代理三大模块,简化了3D建模的开发流程实现技术民主化。站长网2023-11-10 09:08:380000这个小产品,在抖音热销30W+
各位村民好,我是村长。在抖音上其实有很多热销10W的小单品,比如我们前面分享过的衣领贴。这款产品卖了79.8万单今天我们再来和大家分享三个小物件,都是我们生活中较为常见有极其容易忽略的。不知道各位平常在家中会不会不小心撞到了桌角、门窗角、墙角?今天要来分享的产品就是防撞贴,而且不止一款产品。01日常生活必备好物在我们日常生活中,经常会不小心撞到各种边边角角。站长网2023-04-14 11:25:210001OpenAI CEO Sam Altman因涉嫌误导投资者正接受SEC调查
**划重点:**1.🕵️♂️SEC对OpenAI及其CEOSamAltman进行调查,涉及公司向投资者发表的声明。2.📧SEC正在审查Altman及其他人的电子邮件,以确定投资者是否在去年11月的动荡中受到误导。3.🏛️调查集中在纽约,涉及OpenAI高管被要求保留内部文件,同时公司内部和独立调查齐头并进。站长网2024-03-01 11:21:090000市监总局发布双11促销合规提示:电商严禁二选一
随着年度购物盛事双11的到来,无数消费者已经开始积极准备,领取各种优惠券并开始囤积心仪的商品。然而,这一时期也是网购纠纷的高发期。为了规范商家的促销行为,确保网络交易的秩序,并保护消费者的合法权益,市场监管总局发布了《双11网络集中促销合规提示》,旨在指导主要电商平台在双11期间的合规经营。0000