Meta推出像素级动作追踪模型,简易版在线可玩 | GitHub 1.4K星
视频动作跟踪,已经精确到了每个像素!

Meta最新推出的视频跟踪工具CoTracker,发布没多久就在GitHub上斩获了1.4k星标。

从官方发布的几个DEMO来看,效果还是很震撼的。
一场马术比赛中,马匹在骑手的操纵下优雅地跨过障碍,画出了优美的弧线。

还有一架帆船乘风破浪,仿佛捉住了风的影子。

另一边,一位跳伞运动员从空中划过,留下了一道绚丽的彩虹……

对这个新“玩具”,有网友评论说,它不仅能改变物体追踪技术,也将在体育(动作)分析、野生动物追踪,甚至电影后期领域掀起一场新的革命。

我们也第一时间上手试玩了一下线上的简易版本,下面就一起来看看吧。
精准记录像素轨迹
首先有请四川知名网红、熊猫界的当红炸子鸡“果赖”隆重登场。

只见花花六亲不认的步伐被CoTracker整个记录了下来,真的是太可爱了。
不过要论戏剧性的话,可能还得是我们的“西直门三太子”萌兰。

看完了可爱的胖达,接下来就要进入整活环节了,来点名场面!
这个就不用再多介绍了吧(确信)。

除了上面的这位老朋友,还有王境泽吃炒饭的镜头。
只见他手上诚实的动作在CoTracker面前暴露无遗。
而在地球的另一边,马斯克正在直播用FSD开着特斯拉去找小扎,准备进行一番亲切友好的交流。

CoTracker的效果就展示到这里了,朋友们如果想看其他效果可以自己玩玩看。
传送门:
https://huggingface.co/spaces/facebook/cotracker
不过,在线DEMO是个简易版本,还不支持自定义跟踪位置,只能根据输入的跟踪数量等距分配。

但是如果自己部署、用代码操纵的话,就可以设置任意跟踪点了。
说到这我们正好来看一下CoTracker该怎么部署。
首先是Colab版本,我们刚刚说到的自定义跟踪点也在Colab当中。
传送门:
https://colab.research.google.com/github/facebookresearch/co-tracker/blob/master/notebooks/demo.ipynb
Colab的过程不必过多介绍,进入之后运行笔记中的代码就可以了。
而如果想自己动手的话,最简单的方式是从torch.hub中直接调用已完成预训练的版本。
pipinstalleinopstimmtqdmimporttorch
importtimm
importeinops
importtqdm
cotracker=torch.hub.load("facebookresearch/co-tracker","cotracker_w8")
如果要对模型进行评估或训练,那么使用GitHub Repo更为合适。
首先要安装一下程序和相关依赖:
gitclonehttps://github.com/facebookresearch/co-tracker
cdco-tracker
pipinstall-e.
pipinstallopencv-pythoneinopstimmmatplotlibmoviepyflow_vis
然后下载模型:
mkdircheckpoints
cdcheckpoints
wgethttps://dl.fbaipublicfiles.com/cotracker/cotracker_stride_4_wind_8.pth
wgethttps://dl.fbaipublicfiles.com/cotracker/cotracker_stride_4_wind_12.pth
wgethttps://dl.fbaipublicfiles.com/cotracker/cotracker_stride_8_wind_16.pth
cd..
有关评估和训练的方式,可以到GitHub项目页来查看,链接放在了文末。
那么,CoTracker又是怎么实现像素级追踪的呢?
评分超过DINOv2
虽然都是追踪,但CoTracker和物体追踪模型有很大区别。
CoTracker并没有基于语义理解对视频中物体进行分割的过程,而是把重点放在了像素点上。

底层方面,CoTracker采用了Transformer架构。
Transformer编码了视频中点的跟踪信息,并迭代更新点的位置。
推理上,CoTracker还采用了一种窗口机制,在时间轴上划分出滑动窗口。
CoTracker使用上个窗口的输出对后面的窗口进行初始化,并在每个窗口上运行多次Transformer迭代。
这样就使得CoTracker能够对更长的视频进行像素级跟踪。

总之,经过一番训练之后,CoTracker取得了一份不俗的成绩单。
在FastCapture数据集测试上,CoTracker的成绩在一众模型中脱颖而出,其中也包括Meta自家的DINOv2。

总之,喜欢的话,就赶紧体验一下试试吧!
论文地址:
https://arxiv.org/pdf/2307.07635.pdf
GitHub项目页:
https://github.com/facebookresearch/co-tracker
—完—
约79%的ChatGPT企业客户来自微软Azure OpenAI合作伙伴关系
划重点:-在OpenAI的生成式AI聊天机器人ChatGPT的企业客户中,大约70-79%来自Azure-OpenAI合作伙伴关系,而不是直接来自GPT-4或其他渠道。-ChatGPTEnterprise在推出不到四个月的时间内,全球范围内已经获得了22,000-25,000个客户。站长网2023-12-05 16:50:260000餐饮也不必卷生卷死!被 2000+门店验证的增长解法来了
刘兴春(向南)所在的团队,服务了近37个餐饮连锁品牌,共计2000家线下门店。在“卷生卷死”的餐饮赛道,这个团队凭借私域运营为客户增长提供了有力支持。使得这些餐饮品牌对私域的依赖性越来越高,对平台的抗衡能力也极大增强,摆脱了当下餐饮品牌被平台“裹挟”的困局,跳出了“极致低价”的恶性竞争。站长网2024-06-24 09:45:070000谷歌突失Hinton!深度学习之父警告AI风险,对毕生工作表示遗憾
BreakingNews!深度学习三巨头、神经网络之父GeoffreyHinton已离职谷歌,结束十载生涯。最新推文中透露了原因:为了自由地讨论人工智能的风险。消息一出,整个科技圈炸了,人们震惊于AI已经让Hinton感到害怕了。有网友直接懵住:到底发生了什么?还是我漏掉了什么?你不是曾说过GPT-4为人类的蝴蝶吗?站长网2023-05-02 10:18:460001OpenAI 将 Canva 插件引入 ChatGPT 以增强其在人工智能领域的竞争优势
站长之家(ChinaZ.com)9月5日消息:OpenAI推出了一个Canva插件,为其流行的聊天机器人ChatGPT提供支持。这一战略举措旨在让企业和创业者更加简单地创建标志、横幅等视觉元素。OpenAI表示,这种最新的集成可能会彻底改变用户生成视觉元素的方式,提供了一种简化和用户友好的数字设计方法。站长网2023-09-05 09:20:160000暴雪国服:出走半生,归来仍是易家人?
顶流复婚局,但是游戏圈。狼又来了。2023年12月25日,在暴雪游戏退出中国市场将近一年之时,“网易暴雪复合”的词条骤然登上微博热搜榜第一,猝不及防地引爆了游戏圈。据36氪报道,其从多个独立信源获悉,过去一段时间,暴雪与国内多家游戏厂商洽谈了“国服回归”事宜,最终选择与网易重新牵手合作。0000