快手出品!DragAnything:拖动锚点精准控制视频物体和镜头运动
划重点:
⭐️ 快手科技联合浙江大学研究团队提出了 DragAnything 方法,利用实体表示实现了对任何物体的运动控制。
⭐️ 对比现有的运动控制方法,DragAnything 在用户友好性、对象多样性和多对象控制方面具有优势。
⭐️ 在实验中,DragAnything 在 FVD、FID 和用户调查方面取得了 state-of-the-art 的表现,尤其在对象运动控制方面超过了以前的方法。
快手科技联合浙江大学、新加坡国立大学表演实验室研究团队提出了一种名为 DragAnything 的新方法,通过实体表示实现了对任何物体的运动控制。
DragAnything可以实现用户轨迹交互,并具有SAM功能。包括可以精确控制物体的运动,生成高质量视频,用户只需在交互过程中绘制一条轨迹。另外DragAnything可实现对前景、背景和相机等不同元素的多样化运动控制。
研究团队通过分析发现,DragNUWA 的像素运动轨迹并不能很好地代表物体的整体运动,因为单个点无法表示整个实体。此外,他们还观察到,在 DragNUWA 合成的视频中,距离拖动点较近的像素展示了更大的运动,这并不符合他们对物体整体运动的期望。因此,他们提出了 DragAnything 方法,通过实体表示实现了对整个物体的运动控制,解决了这些问题。
与现有的运动控制技术相比,DragAnything 有几个显著的优势:
首先,基于轨迹的操作方式对用户更友好,尤其是在获取其他辅助信号(如遮罩、深度图等)较为繁琐时。用户只需在互动中绘制一条线(即轨迹)即可。
其次,DragAnything实体识别技术能够处理任何对象,这意味着它可以控制包括背景在内的各种实体的运动。
最后,这种实体识别技术还可以同时对多个对象实现不同的运动控制。
大量实验表明,该技术在 FVD、FID 和用户体验研究方面均达到了行业领先水平,特别是在对象运动控制方面,该方法比之前的技术(例如 DragNUWA)在人类评估中提高了26%。
DragAnything 方法在视频生成领域取得了显著进展,为实现对任何物体的精确运动控制提供了新的思路和方法。
产品入口:https://top.aibase.com/tool/draganything
披头士乐队的最后一首歌《Now and Then》通过先进的人工智能技术得以完整呈现
站长之家(ChinaZ.com)10月27日消息:通过WingNutFilms的机器学习技术的协助,彼得·杰克逊于2021年导演的披头士纪录片系列《TheBeatles:GetBack》得以在DisneyPlus上呈现。而同样的人工智能技术,也使得披头士乐队的最后一首歌曲得以完整呈现,很快就会与公众见面。站长网2023-10-27 11:25:350000主播暴富梦碎:时薪暴跌至几十元,收入不如外卖员
直播间,曾是无数年轻人的追梦之地,超级头部主播上演一路逆袭暴富的神话,娱乐明星迎来事业“第二春”,还有入局其中的无数普通人,这是一份有望让他们短时间获得高薪以及人生高光的职业,幸运的话也许能成为下一个李佳琦、薇娅。但经过烈火烹油般的飞速发展,直播已然开始降温。当超级头部主播纷纷谋求多平台布局时,中小主播必须面临更加内卷的竞争,时薪一度缩水至几十元起步,直播时长从平均6个小时飙升至10余个小时。站长网2023-11-18 13:47:360000约会应用 Hinge正在招聘人工智能副总裁 薪资可达每年39.8万美元
文章概要:1.Hinge正在招聘一位人工智能副总裁,负责领导团队开发和部署AI功能,薪资可达每年39.8万美元。2.该职位要求候选人拥有计算机科学、人工智能或数据科学等领域的硕士或博士学位,并在产品导向的科技公司具有领导经验。3.Hinge的母公司MatchGroup正致力于将AI功能整合到其系列约会应用程序中,例如通过AI选择照片和解释推荐原因。站长网2023-08-15 10:50:300000OpenAI 获得更多的英伟达 H100 芯片,CEO Sam Altman 预测明年芯片获取将更加顺利
在日前接受《金融时报》采访时,OpenAI首席执行官SamAltman表示,公司已经收到了备受期待的英伟达H100芯片订单,并预计不久后会收到更多。他补充道,「明年在获取更多芯片方面看起来已经会更好」。站长网2023-11-15 20:31:050000