CamCo:可控制相机的3D 一致图像到视频生成
站长网2024-06-05 16:45:060阅
划重点:
🔍 提供了一个可控制相机姿态的图像到视频生成框架
🔍 引入 Plücker 坐标和极线约束注意力,实现了三维一致性
🔍 通过结构光算法对真实世界视频进行微调,改进了对象运动的合成效果
研究提出了一种新颖的可控制相机姿态的图像到视频生成框架 ——CamCo,用于生成高质量、三维一致的视频。通过引入 Plücker 坐标,为预训练的图像到视频生成器提供了精确参数化的相机姿态输入。
产品入口网址:https://top.aibase.com/tool/camco
为了增强生成的视频的三维一致性,研究人员在每个注意力模块中集成了极线约束注意力模块,以对特征图施加极线约束。此外,通过结构光算法对真实世界视频进行微调,以改进对象运动的合成效果。实验结果表明,与之前的模型相比,CamCo 在三维一致性和相机控制能力方面有显著的改进,同时能够有效地生成合理的对象运动。
![](https://i.zz5.net/images/article/2024/06/05/164506739.jpg)
CamCo 是一个全新的可控制相机的图像到视频生成框架,可以生成高质量、三维一致的视频。CamCo 通过使用 Plücker 坐标和极线约束注意力块将相机参数注入模型中。研究人员还引入了一个数据筛选流程,用于处理带有动态主体的真实世界视频,并通过这个筛选后的数据集对 CamCo 进行微调,以提高其生成具有相机自我运动和动态主体的视频的能力。
给定一张单独的图片和一个相机序列作为输入,CamCo 模型可以合成符合相机条件并具有三维一致性的视频。我们支持室内、室外、以物体为中心的和文本到图像生成的图片。最后一行的提示为 "一个繁茂的花园,里面有各种颜色的盛开的玫瑰,中间蜿蜒着一条石子路",第一帧的相机姿态以紫色显示。
0000
评论列表
共(0)条相关推荐
问界新M5增程MAX版CLTC工况综合续航达到1440km
在今日的盛大发布会上,华为余承东隆重揭幕了全新的问界新M5车型,引起了广泛关注。这款车型不仅在设计上有所创新,更在性能上展现了卓越的都市SUV实力。站长网2024-04-23 15:52:360000OpenAI 组建新团队防范「超级智能 AI」失控:20% 算力投入
尽管人工智能是否有朝一日能够与超越人类智能尚不明确,但ChatGPT的创建者OpenAI已经开始研究防止所谓的「超级智能AI」失控并可能杀死我们所有人类的方法。这种威胁听起来像是科幻电影的情节。但OpenAI今天警告称,超级智能AI系统或者说比人类明显聪明的计算机存在风险。站长网2023-07-06 14:58:360002拼多多百亿补贴上线“家电超级加补”专场 部分产品补贴力度超50%。
近日,拼多多百亿补贴联合美的、TCL、小天鹅、海尔、西门子、康佳、容声等主流家电品牌推出“家电超级加补”活动,对空调、冰箱、洗衣机等各类家电产品进行大幅加补,部分产品的补贴力度甚至超过50%。据了解,“家电超级加补”活动已于19日晚8点正式上线拼多多百亿补贴频道。消费者打开拼多多app,进入百亿补贴频道,即可进入“家电超级加补”活动页面。站长网2023-05-22 16:12:350000大模型界的“熊猫烧香”,可对文生图模型造成巨大伤害!
《麻省理工技术评论》分享了一个名为Nightshade的投毒工具,可以对DALL-E、Midjourney和StableDiffusion等文生图模型的训练数据造成造成巨大伤害,以帮助艺术家们防止非法爬取其画作数据,用于大模型训练,同时揭露了模型存在的安全隐患。站长网2023-11-26 13:25:110002