快手出品!DragAnything:拖动锚点精准控制视频物体和镜头运动
划重点:
⭐️ 快手科技联合浙江大学研究团队提出了 DragAnything 方法,利用实体表示实现了对任何物体的运动控制。
⭐️ 对比现有的运动控制方法,DragAnything 在用户友好性、对象多样性和多对象控制方面具有优势。
⭐️ 在实验中,DragAnything 在 FVD、FID 和用户调查方面取得了 state-of-the-art 的表现,尤其在对象运动控制方面超过了以前的方法。
快手科技联合浙江大学、新加坡国立大学表演实验室研究团队提出了一种名为 DragAnything 的新方法,通过实体表示实现了对任何物体的运动控制。
DragAnything可以实现用户轨迹交互,并具有SAM功能。包括可以精确控制物体的运动,生成高质量视频,用户只需在交互过程中绘制一条轨迹。另外DragAnything可实现对前景、背景和相机等不同元素的多样化运动控制。

研究团队通过分析发现,DragNUWA 的像素运动轨迹并不能很好地代表物体的整体运动,因为单个点无法表示整个实体。此外,他们还观察到,在 DragNUWA 合成的视频中,距离拖动点较近的像素展示了更大的运动,这并不符合他们对物体整体运动的期望。因此,他们提出了 DragAnything 方法,通过实体表示实现了对整个物体的运动控制,解决了这些问题。
与现有的运动控制技术相比,DragAnything 有几个显著的优势:
首先,基于轨迹的操作方式对用户更友好,尤其是在获取其他辅助信号(如遮罩、深度图等)较为繁琐时。用户只需在互动中绘制一条线(即轨迹)即可。
其次,DragAnything实体识别技术能够处理任何对象,这意味着它可以控制包括背景在内的各种实体的运动。
最后,这种实体识别技术还可以同时对多个对象实现不同的运动控制。
大量实验表明,该技术在 FVD、FID 和用户体验研究方面均达到了行业领先水平,特别是在对象运动控制方面,该方法比之前的技术(例如 DragNUWA)在人类评估中提高了26%。

DragAnything 方法在视频生成领域取得了显著进展,为实现对任何物体的精确运动控制提供了新的思路和方法。
产品入口:https://top.aibase.com/tool/draganything
小米汽车:7月交付量继续破万台 11月提前完成全年十万交付目标
小米汽车在2024年7月取得了令人瞩目的成绩,其SU7车型的交付量超过了10000台。公司预计8月份的交付量将继续保持这一势头,并有望在11月提前完成全年10万台的交付目标。在上月举行的"2024雷军年度演讲"中,雷军已经宣布,预计11月将提前完成全年10万辆的交付目标,这显示了小米汽车在市场上的强劲表现。站长网2024-08-01 11:30:420000工程师利用GPT-4,实现对 AI 可穿戴设备进行编程
ProjectRing是一款腕戴式小型计算机,它使用AI实时分析环境,并进行文本描述,再通过ChatGPT对环境进行评估。这款可穿戴设备结合了语言和图像模型,以提供人与AI之间更流畅的交互体验。根据开发人员MinaFahmi的说法,该项目旨在“展示低摩擦交互,将人类与人工智能之间的物理和数字信息融合在一起。”站长网2023-05-19 16:23:050000国泰君安:具身智能——人工智能应用新方向
国泰君安研报指出,特斯拉2023股东大会发布人形机器人最新情况,已经能实现自主行走和工作,具备力度控制和电力扭矩控制能力,自主学习和算法能力显著提升。全球智能服务机器人2021-2026复合增速达到25%,量产规模提升显著降低售价,价格将从10万美元降低到2-3万美元。0001轻松拿捏4K高清图像理解!这个多模态大模型自动分析网页海报内容,打工人简直不要太方便
一个可以自动分析PDF、网页、海报、Excel图表内容的大模型,对于打工人来说简直不要太方便。上海AILab,香港中文大学等研究机构提出的InternLM-XComposer2-4KHD(简写为IXC2-4KHD)模型让这成为了现实。站长网2024-04-22 21:11:420001体育画报出版商CEO罗斯·莱文索恩因人工智能丑闻辞职
上个月末,《体育画报》陷入人工智能丑闻,揭露杂志一直在发表由不存在的作家署名并搭配人工智能生成的个人资料图片的商业文章。该事件导致两名高管被解雇,而现在,体育画报出版商TheArenaGroup的首席执行官罗斯·莱文索恩(RossLevinsohn)宣布辞职。0001