综艺后期狂喜:编辑一帧,整个视频跟着变!比LNA渲染快5倍,Adobe联合出品
前不久跑男为了让“kunkun”原地消失,后期只能一帧一帧的抠图。
现在,只要编辑一帧,整个视频就跟着变!
就是点点kunkun,整集就自动消失的那种(手动狗头)。
Adobe Research和英属哥伦比亚大学的研究人员发现,使用INVE(交互式神经视频编辑),只需在单帧上“画笔涂鸦”,就能自动应用改动到整个视频中。
不仅可以编辑视频中的对象并保留空间和光影关系,甚至可以编辑移动对象的纹理色彩。
网友惊呼:太牛了!
交互式神经视频编辑
INVE(Interactive Neural Video Editing)是一种实时视频编辑解决方案。
研究团队受到分层神经图集(LNA)的研究启发。测试发现,通过使用INVE,可以将稀疏帧编辑一致地传播到整个视频剪辑,辅助视频编辑过程。
视频中的场景通常由非静态背景和一个或多个前景物体组成,运动轨迹也会不同。
早期的2D方法需要独立编辑每一帧,并使用帧间跟踪来协调整个视频。
假如我们要把这个小狗头像放在车门上,按照传统方式,视频中车是往前移动的,为避免不出现溢出效果,就需要一帧一帧训练和测试反复编辑。
这种方式费时费力不说,还容易导致明显的视觉伪影。
而最近发展起来的分层神经图集(LNA)方法,可以通过一组分层神经网络2D图集对单个训练和测试,达到编辑整个视频的效果。
虽避免了逐帧编辑,但也有一些问题,比如处理速度较慢、对某些编辑用例支持不足。
因此,研究团队基于LNA方法,通过学习图像图集和图像之间的双向函数映射,并引入矢量化编辑,使得在图集和图像中一致编辑成为可能。
同时,采用多分辨率哈希编码来改善模型的收敛速度。
如何实现
研究团队基于光流提取算法RAFT,在包含70帧且分辨率为768×432的视频上训练和测试模型。
首先,团队在每个训练批次中随机采样了10,000个视频像素,然后设定了一个模型参数值。
通过将GPU优化的Fully Fused MLP架构引入,仅迭代大约12,000个次数就完成训练,相比于LNA的300,000个迭代次数要少得多。
测试显示该方法在单个NVIDIA RTX4090GPU上的渲染速度为24.81FPS,对比LNA的渲染速度5.34FPS,渲染速度快了近5倍。
经过相同数量的迭代训练,团队模型的重建、流场损失都比LNA更快地收敛。
此外,为实现点跟踪,团队选择逆映射的方法,允许添加跟踪单个/少数点的刚性纹理。
团队提出“矢量化素描技术”,将多边形链直接映射到图集中,更精确地控制线条,从而减少计算成本并避免有视觉伪影。
再通过分层编辑,允许在图集之上叠加多个可编辑图层,使每个图层都可独立访问和编辑。
分层编辑支持多种类型的编辑,包括画笔涂鸦、局部调整、纹理编辑。
比如画笔涂鸦,就可以直接使用画笔工具草图涂鸦。
比如纹理编辑,可以导入外部图形,跟踪和变形的运动对象。
研究团队
作者团队由来自Adobe Research、英属哥伦比亚大学、AI Vector研究所和CIFAR AI组成。
第一作者是Jiahui Huang,目前是Adobe Research的研究工程师,硕士毕业于英属哥伦比亚大学。
其他作者包括Kwang Moo Yi、Oliver Wang和Joon Young Lee,整个团队研究方向主要也是在计算机视觉、机器学习和视频编辑领域。
论文地址已贴,感兴趣的可以去看看。
论文传送门 :
https://arxiv.org/abs/2307.07663
参考链接:
[1]https://twitter.com/_akhaliq/status/1681162394393886720/
[2]https://gabriel-huang.github.io/inve/
DeepMind CEO专访:AI还没到拼算力的时候,谷歌优势在研发,智能体是下一个爆点
GoogleDeepMind首席执行官Hassabis最近在接受WIRED采访时表示,AI技术现在还有很大的改进空间,还远没有到只能拼算力的时候。谷歌的优势在于科研能力,未来智能体将改变AI的格局。虽然谷歌的Gemini在开年的AI产品大战中没有获得太多的关注,但是GoogleDeepMind作为人类最前沿的AI机构,依然在抵达通用人工智能的道路上紧追OpenAI。0000白宫报告称美国10%的员工面临高度暴露于人工智能的风险
划重点:-🤖10%的美国员工处于与人工智能高度暴露且绩效要求较低的岗位-📉20%的美国员工处于与人工智能高度暴露的职业中-💼AI可能会改变工作方式而非完全淘汰岗位站长网2024-03-23 00:22:310000东方甄选宣布将在8月29日进行淘宝直播首秀
东方甄选将于8月29日在淘宝平台首次直播。新东方创始人俞敏洪、东方甄选CEO东方小孙亲自带队,东方甄选众多主播将在淘宝开启全天直播。他们将展示超过300款甄选好物,并且有丰富的福利活动,包括百万宠粉红包雨和家电千万补贴。此外,东方甄选的自营产品将享受全场88折优惠,并有两款神秘新品首次亮相。站长网2023-08-25 16:15:580000谷歌AI练习生写了首歌,网友听完心率都低了
一段话整出一首歌,甚至是男女唱(跳)rap的那种。男女说唱音频:00:0000:30谷歌最新模型MusicLM一经推出就惊艳四座,不少网友惊呼:这是迄今听到最好的谱曲。它可以根据文本生成任何类型的音乐,不管是根据时间、地点、年代等各种因素来调节,还是给故事情节、世界名画配乐、生成人声rap口哨,通通不在话下。比如这幅《呐喊》(Scream)站长网2023-05-01 10:23:510001揭秘月入千万的外卖霸王餐市场
前言:先说两个数据,现在市场上做外卖霸王餐相关的第三方平台。排名第一的平台目前日均20万单,月收入1200万;排名第二的目前每天日均7万单,月收入600万,且这些数字都还在进一步的增长中。其实不光是这些第三方平台的收入增长很快,与之相关联的下游加盟代理商团队收入也很可观。据了解扣除人工成本后月入几万、10来万的团队也不少,但是目前大家都很低调的隐藏在水下做,外界知道的并不多。0000