新视频分割技术SAM 可高效识别移动物体
站长网2024-04-23 15:11:251阅
在视频分割领域,Segment Anything 模型(SAM)被用于探索新的视频对象分割技术。研究团队测试了两种不同的模型,旨在结合 SAM 的分割能力和光流技术的优势,以提高视频分割的性能。
SAM 与光流结合的模型:第一种模型中,研究者对 SAM 进行了修改,使其能够直接使用光流数据作为输入,而非传统的 RGB 图像。光流数据能够提供关于图像中物体运动的信息,这对于分割和识别移动物体特别有用。

SAM 与 RGB 图像结合的模型:第二种模型则保持了 SAM 使用 RGB 图像作为主要输入的方式,但引入了光流数据作为辅助提示,以增强模型对视频中物体运动的识别和分割能力。
这两种方法都展示了在视频对象分割任务中的潜力,即使没有进行复杂的修改或优化,也已经在单对象和多对象的视频基准测试中取得了显著的性能提升。
此外,研究者还探索了将这些基于帧的分割方法扩展到整个视频序列上,以实现对同一物体在视频连续帧中的身份进行追踪。这种序列级别的分割技术能够连续地识别和追踪视频中的特定对象,即使在物体运动、场景变化或光照条件变化的情况下也能保持一致性。
这些研究成果不仅提升了视频分割的精度和效率,而且通过简化模型的设计,降低了计算复杂度和资源消耗,使得实时视频分割和物体追踪变得更加可行。这些技术的进展对于视频编辑、安防监控、自动驾驶车辆的视觉系统以及许多其他应用场景都具有重要意义。
目前,具体的技术细节、模型性能指标以及未来的研究方向尚未详细公布,但这些初步的研究成果已经为视频分割技术的发展提供了新的方向和可能性。
演示页面:https://www.robots.ox.ac.uk/~vgg/research/flowsam/
0001
评论列表
共(0)条相关推荐
AI画连环画角色更一致了!人物之间的复杂互动也能处理|中山大学&联想团队出品
让AI画漫画角色保持一致的新研究来了!创作的连环画效果belike:频繁切换主体、人物之间复杂的互动也能保持角色一致性:上述效果来自AutoStudio,是一个由中山大学和联想团队联合提出的无需训练的多智能体协同框架。AutoStudio采用基于大语言模型的三个智能体来处理交互,并使用基于扩散模型的Drawer生成高质量图像。站长网2024-06-17 09:01:140000AI能辅助寻找高温超导材料?陈仙辉:在这个领域很难实现
凤凰网科技讯8月17日消息,2023未来科学大奖公布,包括凤凰网科技在内的媒体,对陈仙辉进行了采访,对于通过AI辅助寻找高温超导材料这个问题,陈仙辉表示,将AI的技术,用于研究超导,是很难的。0000微软宣布在泰国设立首个区域数据中心 提升Azure云服务可用性
微软周三宣布计划在泰国开设其首个区域数据中心,以提高其Azure云服务的可用性。这一举措是微软在亚洲地区持续扩大其云服务业务的最新举措。在此之前,微软CEO萨蒂亚·纳德拉还宣布在邻国印尼进行了17亿美元的人工智能(AI)和云设施投资,显示了微软在亚洲市场的重视和扩张计划。微软在一份声明中表示,该数据中心区域将扩大微软超大规模云服务的可用性,为泰国和周边地区的用户提供更加可靠和高效的云服务。站长网2024-05-02 22:47:310003Nothing 的下一款手机将全面采用人工智能技术
划重点:-Nothing首席执行官CarlPei表示,智能手机是未来的人工智能设备,人工智能可能改变我们使用手机的方式。-Nothing团队展示了一些演示,其中一个是类似OpenAI的GPT-4o演示,另一个是个性化、动态的主屏幕。-Nothing的目标是通过人工智能技术,将智能手机从应用中心的模式转变为一个可以随时了解用户需求和位置的系统。站长网2024-06-06 20:58:0600002025华为创新产品发布会在德国柏林举办:MatePad Pro 12.2等四大新品登场
快科技5月17日消息,近日,2025凯度BrandZ全球品牌100强榜单正式公布,华为创历史新高位列全球第39位,超越历史最高排名45位(2020年),品牌价值达647亿美元,较去年激增142.4%,是全球百强榜中增速最快的品牌之一。0000