MotionDirector:AI定制视频新方法
要点:
1. 该研究提出了MotionDirector,一种基于人工智能的方法,用于自定义视频的运动和外观,通过训练模型学习运动和外观,以生成特定运动的视频。
2. MotionDirector采用双通道架构,分别学习单一或多个参考视频中的外观和运动,实现外观和运动的解耦,并能够合并不同源视频的外观和运动。
3. 该研究通过对多个基准数据进行比较,表明MotionDirector在生成具有多样性和所需运动概念的视频方面具有潜力,尽管有一些改进的空间。
最新研究指出,文本到视频传播模型在最近取得了显著进展,用户只需提供文本描述,就可以创建逼真或富有想象力的视频。这些基础模型还被调整以生成与特定外观、风格和主题匹配的图像。
然而,在文本到视频生成中自定义运动的领域仍需要深入探讨。用户可能希望创建具有特定运动的视频,比如汽车前进然后左转。因此,将扩散模型调整以创建更具体内容以满足用户的需求变得非常重要。
项目地址:https://showlab.github.io/MotionDirector/
为了解决这一问题,研究人员提出了MotionDirector,这是一种双通道架构的人工智能方法,旨在训练模型学习给定单个或多个参考视频中的外观和运动,使其能够同时实现运动的自定义和外观的多样性。
其中,空间通道包含了一个基础模型,其在每个视频的变换层中集成了可训练的空间LoRAs(低秩适应),这些LoRAs是通过在每个训练步骤中随机选择的单帧来进行训练,以捕捉输入视频的视觉属性。与此相反,时间通道复制了基础模型,与空间通道共享空间LoRAs,以适应给定输入视频的外观。此外,时间通道中的时间变换器还使用从输入视频中选择的多帧进行训练,以捕捉固有的运动模式。
通过部署经过训练的时间LoRAs,基础模型可以合成具有多样外观的学习运动的视频。这种双通道架构使模型能够分别学习视频中物体的外观和运动,从而使MotionDirector能够隔离视频的外观和运动,然后从不同的源视频中进行组合。
研究人员通过在多个基准数据上比较MotionDirector的性能,包括80多种不同的运动和600个文本提示。在UCF体育动作基准测试中,MotionDirector被人工评定者约75%的时间选择,以获得更好的运动保真度,该方法还胜过了25%的基准模型的首选项。
在第二个基准测试中,即LOVEU-TGVE-2023基准测试中,MotionDirector表现优于其他可控生成和调整方法。这些结果表明,MotionDirector可以定制多个基础模型,以生成具有多样性和所需运动概念的视频。
总之,MotionDirector是一种有潜力的新方法,可用于调整文本到视频传播模型,以生成具有特定运动的视频。它在学习和适应物体和摄像机的特定运动方面表现出色,并可以用于生成具有各种视觉风格的视频。
尽管在学习参考视频中多个主体的运动方面仍有改进空间,但即便存在这些限制,MotionDirector仍有潜力增强视频生成的灵活性,使用户能够制作符合其需求的定制视频。
抖音:将严格处置使用群控工具等发布违规内容且互相引流行为
今日,抖音发布了《关于发布矩阵号不当行为治理规则的公告》,并将于2023年12月1日正式发布实施。抖音称,发现有黑灰产组织以多账号(团伙)形式,有组织的发布大量低质量、同质化甚至违法违规内容且互相引流,并试图逃避平台管理与处罚,不当获利,伤害用户体验,扰乱社区秩序。站长网2023-11-30 11:35:270001直播电商换挡,谁来领路?
自去年双十一不再公布总成交额过后,今年的双十一似乎还要宁静一些。各大电商平台依旧非常努力:淘天集团把“全网最低价”定为了核心KPI,京东主打“真便宜”,拼多多喊出了“天天真低价”。但这些努力并没能激发用户群体足够的消费欲望,这个每年最大的促销节点已然诱发了观众的“审美疲劳”。站长网2023-11-23 15:51:080000小米重回国产品牌第一 市场份额约达18.3%
BCI最新数据显示,2023年11月(W44-W48),中国市场智能手机新机激活量达到2871万台,同比增长12.7%。这一增长主要得益于小米的强劲表现,其市场份额从去年同期的14.9%跃升至18.3%,成为国产手机品牌第一。0000同花顺宣布完成鸿蒙原生应用Beta版开发
同花顺与华为宣布,他们已经完成了同花顺鸿蒙原生应用Beta版本的开发,并计划继续推进全量版本的研发。这次合作是同花顺与华为在金融科技领域的深度合作,旨在为投资者和金融机构客户提供更智能、更安全的服务。0000新式市集,贩卖的是社交
继音乐节、livehouse之后,年轻人的潮流聚集地又多了一种。各式各样的新式市集不断在各地涌现,凭借新潮的名字、不同品类的摊主和乐队等丰富表演形式,迅速成为年轻人的新一代打卡地。如今的市集,相较于传统市集而言,主打一个“潮”字,摊主中不乏“独立小众品牌的主理人”、“各大社交平台的时尚潮流KOL”亦或是“文化艺术行业的知名博主”,而来“赶集”的年轻人,既要提前准备好穿搭。又要做好赶集攻略。站长网2023-08-09 20:03:250000