随时随地,追踪每个像素,连遮挡都不怕的「追踪一切」视频算法来了
Tracking Everything Everywhere All at Once.
前段时间,Meta 发布「分割一切(SAM)」AI 模型,可以为任何图像或视频中的任何物体生成 mask,让计算机视觉(CV)领域研究者惊呼:「CV 不存在了」。之后,CV 领域掀起了一阵「二创」狂潮,一些工作陆续在分割的基础上结合目标检测、图像生成等功能,但大部分研究是基于静态图像的。
现在,一项称为「追踪一切」的新研究为动态视频中的运动估计提出了新方法,能够准确、完整地追踪物体的运动轨迹。
该研究由来自康奈尔大学、谷歌研究院和 UC 伯克利的研究者共同完成。他们联合提出了一种完整且全局一致的运动表征 OmniMotion,并提出一种新的测试时(test-time)优化方法,对视频中每个像素进行准确、完整的运动估计。
论文地址:https://arxiv.org/abs/2306.05422
项目主页:https://omnimotion.github.io/
有网友在推特上转发了这项研究,仅一天时间就收获了3500 的点赞量,研究内容大受好评。
从该研究发布的 demo 看,运动追踪的效果非常好,例如追踪跳跃袋鼠的运动轨迹:
荡秋千的运动曲线:
还能交互式查看运动追踪情况:
即使物体被遮挡也能追踪运动轨迹,如狗在跑动的过程中被树遮挡:
在计算机视觉领域,常用的运动估计方法有两种:稀疏特征追踪和密集光流。但这两种方法各有缺点,稀疏特征追踪不能建模所有像素的运动;密集光流无法长时间捕获运动轨迹。
该研究提出的 OmniMotion 使用 quasi-3D 规范体积来表征视频,并通过局部空间和规范空间之间的双射(bijection)对每个像素进行追踪。这种表征能够保证全局一致性,即使在物体被遮挡的情况下也能进行运动追踪,并对相机和物体运动的任何组合进行建模。该研究通过实验表明所提方法大大优于现有 SOTA 方法。
方法概述
该研究将帧的集合与成对的噪声运动估计(例如光流场)作为输入,以形成整个视频的完整、全局一致的运动表征。然后,该研究添加了一个优化过程,使其可以用任何帧中的任何像素查询表征,以在整个视频中产生平滑、准确的运动轨迹。值得注意的是,该方法可以识别画面中的点何时被遮挡,甚至可以穿过遮挡追踪点。
OmniMotion 表征
传统的运动估计方法(例如成对光流),当物体被遮挡时会失去对物体的追踪。为了在遮挡的情况下也能提供准确、一致的运动轨迹,该研究提出全局运动表征 OmniMotion。
该研究试图在没有显式动态3D 重建的情况下准确追踪真实世界的运动。OmniMotion 表征将视频中的场景表示为规范的3D 体积,通过局部规范双射(local-canonical bijection)映射成每个帧中的局部体积。局部规范双射被参数化为神经网络,并在不分离两者的情况下捕获相机和场景运动。基于此种方法,视频可以被视为来自固定静态相机局部体积的渲染结果。
由于 OmniMotion 没有明确区分相机和场景运动,所以形成的表征不是物理上准确的3D 场景重建。因此,该研究称其为 quasi-3D 表征。
OmniMotion 保留了投影到每个像素的所有场景点的信息,以及它们的相对深度顺序,这让画面中的点即使暂时被遮挡,也能对其进行追踪。
实验及结果
定量比较
研究者将提出的方法与 TAP-Vid 基准进行比较,结果如表1所示。可以看出,在不同的数据集上,他们的方法始终能实现最佳的位置准确性、遮挡准确性和时序一致性。他们的方法可以很好地处理来自 RAFT 和 TAP-Net 的不同的成对对应输入,并且在这两种基准方法上提供了一致的改进。
定性比较
如图3所示,研究者对他们的方法和基线方法进行了定性比较。新方法在(长时间)遮挡事件中显示出了出色的识别和追踪的能力,同时在遮挡期间为点提供合理的位置,并处理很大的摄像机运动视差。
消融实验与分析
研究者利用消融实验来验证他们设计决策的有效性,结果如表2所示。
在图4中,他们展示了由他们的模型生成的伪深度图,以展示学习到的深度排序。
需要注意的是,这些图并不对应于物理深度,然而,它们展示了仅使用光度和光流信号时,新方法能够有效地确定不同表面之间的相对顺序,这对于在遮挡中进行追踪至关重要。更多的消融实验和分析结果可以在补充材料中找到。
今天教师节!网易云音乐发福利:老师拿教资证免费领9个月会员
快科技9月10日消息,今天是我国第39个教师节,祝各位老师节日快乐。在教师节这天,很多厂商都会推出各种免费或优惠活动,全国教师都可参加。目前,网易云音乐已上线教师节活动,资格认证通过后,可赠送老师黑胶VIP会员和听书会员。站长网2023-09-10 08:18:370000IBM 推出人工智能增强存储平台可以在一分钟内识别勒索软件
IBM近日宣布推出了新版本的FlashCoreModule存储驱动器以及StorageDefender软件,这两者的结合将大大提高客户检测网络攻击或勒索软件并做出反应的能力。站长网2024-02-29 09:34:430000B站150万UP主赚到钱了!正式会员突破2亿
快科技6月1日消息,B站今日公布了截至2023年3月31日的第一季度未经审计财报,财务状况持续改善,用户量稳定增长。当季,B站取得收入50.7亿元人民币,其中广告业务收入12.7亿元,同比增长22%,同时毛利润同比增长37%,毛利率从16%提升至22%,减亏成果显著,净亏损同比收窄72%。站长网2023-06-02 11:58:270000饿了么辟谣抖音仍在洽购:完全没有的事
针对“字节跳动正与阿里巴巴接触并洽购饿了么”一事,饿了么官方坚决否认了相关传言,并表示“完全没有的事,完全是谣言”。此前针对上述情况,饿了么内部人士曾回应称,双方合作一直在稳步推进,但所谓“收购”完全是无稽之谈。抖音内部人士也回复称,彭博社没有这个报道,抖音也没有这个计划。早在2022年8月,饿了么和抖音就曾宣布达成合作,共同探索本地生活服务的新场景升级。站长网2024-01-15 08:54:000000支付宝2023年度报告发布,小攒青年、极简社交、万事打卡成关键词
2024年即将来临,站在2023年的年末,你会如何回忆这一年?12月27日,支付宝平台发布《2023支付宝年度发现小报告》,多巴胺经济、万事打卡、小攒青年、AI“巷战”等成十大年度关键词:热门演出90%的票半分钟抢空、每月超200万人上支付宝打卡……支付宝作为每天数亿人次登陆的国民级App和数字生活平台,从平台数据可窥见这一年普通人生活状态的切片和为生活所做的一点美好的小改变。站长网2023-12-27 13:07:150000