Meta AI开源T2V模型AVID 可修复视频改变纹理
站长网2023-12-12 10:48:431阅
Meta AI最近开源了AVID,这是一项具有先进修复和扩展能力的 T2V 模型。AVID 不仅支持通过文本编辑视频,还可以修复视频、更改视频对象、改变纹理和颜色,甚至删除视频内容或更换视频环境。
项目地址:https://zhang-zx.github.io/AVID/
这个开源项目是为了解决文本引导的视频修复所面临的三个主要挑战:时间一致性、不同保真度级别的支持以及处理可变的视频长度。
AVID 模型具备有效的运动模块和可调节的结构引导,可以用于固定长度的视频修复。此外,该模型还引入了一种新颖的时间多重扩散采样管道,具有中帧注意力引导机制,有助于生成任何所需持续时间的视频。经过综合实验,AVID 模型在不同的视频持续时间范围内都能稳健地处理各种修复类型,并且质量很高。
在培训阶段,AVID 模型采用了两步方法。首先,在主要文本到图像 (T2I) 修复模型的每一层后集成了运动模块,并对视频数据进行了优化。
其次,保留了 UNet $\epsilon_\theta$ 中的参数,并利用 UNet 编码器的参数副本专门训练了结构指导模块 $\mathbf{s}_\theta$。在推理过程中,对于长度为 $N^\prime$ 的视频,AVID 模型会构建一系列片段,每个片段包含 $N$ 个连续帧,并在每个去噪步骤中计算并汇总每个分段的结果。
0001
评论列表
共(0)条相关推荐
中国电信广东地区崩了?客服回应:正在进行抢修
6月8日下午,许多中国电信广东地区的用户在网络上反映他们所使用的电信卡无法正常工作,无法打电话。相关话题登上了微博热搜榜。面对广东地区电信网络异常的情况,中国电信广东客服发表了声明回应。声明中表示:“受网络异常的影响,部分移动用户无法接听电话。我们正在积极抢修,为此给您带来的不便,我们深表歉意,感谢您的理解和支持。”站长网2023-06-09 19:25:540000快手程一笑:快意大模型或在半年内达 GPT4.0 水平
今日,快手公司发布了其2023年第四季度及全年业绩报告,数据显示,快手在2023年全年实现了显著的收入增长,总收入高达1134.7亿元,同比增长了20.5%。更值得一提的是,经过调整后,快手的净利润首次突破了百亿元大关,达到了102.7亿元。站长网2024-03-21 23:19:580000骁龙8 Gen3旗舰!一加12定档12月4日
一加官微最新宣布,众多用户期待的一加12将在12月4日发布。一加创始人刘作虎在围炉夜话中亲自透露,一加12是十年超越之作,将搭载国产首款DisplayMateA的2K屏幕,并首发多通道降负载技术和阳光高亮算法,提升屏幕驱动性能并降低功耗。站长网2023-11-20 09:40:410000Meta华人提出语言模型Shepherd 用于评估模型生成
最近,MetaAI提出了一种新的语言模型叫做"牧羊人"(Shepherd),用于评估其他模型生成的文本,并给出改进建议。这个模型使用了约70亿个参数,并通过社区反馈和人工标注的数据集来进行训练。站长网2023-08-15 14:14:080000血赚!分析师:到2027年,Nvidia的AI收入可能达3000亿美元
今年以来,芯片制造商英伟达(Nvidia)可以说过得相当滋润,其股价在人工智能或人工智能炒作的推动下翻了一番,而明天可能还会继续上涨。站长网2023-07-25 22:33:260000