AnimatableDreamer:2D视频素材一键转换成4D动态立体模型
划重点:
- 🌟清华系初创公司生数科技联合高校推出全球首个基于「骨骼动画」的4D 动画生成框架「AnimatableDreamer」
- 🌟可将2D 视频素材一键转换成动态立体模型,并支持个性化角色生成
- 🌟研究团队通过规范得分蒸馏策略实现了文本到4D 骨骼动画的生成,将交互体验丰富化,推动内容生态发展
目前内容产业的数据积累在3D 模型和4D 动画等方面仍较为薄弱。为了满足即将到来的多维沉浸式体验,清华系创业团队生数科技近期联合清华大学、同济大学等高校推出了全球首个基于「骨骼动画」的4D 动画生成框架「AnimatableDreamer」。
这一框架能够直接将2D 视频素材一键转换成动态立体模型,同时支持通过文字输入进行个性化角色生成。简单的说,「AnimatableDreamer」的提出直接打通文本到4D 骨骼动画的生成,建模、贴图、骨骼绑定、动作驱动。输入自然语言描述,自动输出立体动画视频,普通人也能直接上手,轻松定制动画内容。以下为生成的动物模型:
传统的制作立体动画流程需要经过复杂的3D 建模、贴图渲染、骨骼绑定和动画制作等步骤,效率低且成本高昂。而「AnimatableDreamer」可以自动提取视频中目标对象的骨骼动作,并通过文本描述将该对象转换为任意的带骨骼动画模型。这一过程不受模版限制,支持任意视频长度和任意类型的动作,并且导出的动态立体模型能够在任意3D 环境中进行渲染。
该团队创新地提出了规范得分蒸馏策略(Canonical Score Distillation,简称 CSD),实现了文本到4D 骨骼动画的生成。通过在相机空间中对不同帧及不同视角的3D 模型进行渲染和降噪,并将梯度回传至规范空间中进行蒸馏,「AnimatableDreamer」能够生成具有高度时间一致性和几何合理性的模型。无论是在有限视角还是大幅度运动的场景中,该框架都能自动补全画面信息,实现较好的生成质量。
「AnimatableDreamer」的推出将大大降低3D、4D 数字内容的生产难度,丰富交互体验,并让每个人都能够进行创意内容的生成和编辑。未来,用户可以在虚拟世界中快速搭建自定义的数字空间,打造个性化的交互体验。而对于游戏开发和影视动画等领域的3D 建模和动画制作流程来说,这一技术有望带来更高的效率。
清华系创业团队生数科技在不到一年的时间里推出了多个产品,包括3D 资产创建工具 VoxCraft 和4D 骨骼动画生成框架「AnimatableDreamer」。这些技术的创新能力将为未来的多维数字体验和人机交互带来更多可能性,从而开启全新的内容娱乐与消费模式。
项目网址:https://top.aibase.com/tool/animatabledreamer
论文网址:https://arxiv.org/pdf/2312.03795.pdf
instaflow:利用校正流技术加快将文本转化为图像的过程
InstaFlow是一个快速、一步生成图像的模型,能够以接近StableDiffusion的图像质量显著减少计算资源需求。这种高效率源自最近的RectifiedFlow技术,它训练具有直线轨迹的概率流,因此本质上只需要一步即可进行快速推理。项目地址:https://github.com/gnobitab/instaflowInstaFlow具有几个优点:站长网2023-09-15 10:34:560000小米小爱同学AI助手通过大模型备案
昨日,小米小爱同学宣布,小爱同学AI助手正式通过国家《生成式人工智能服务管理暂行办法》备案。据悉,2023年8月14日,全面拥抱大模型的小爱同学在雷军年度演讲上首次亮相并开启邀测。大模型全面赋能的小爱同学,拥有更强大的大脑,拥有联系上下文、逻辑推理的能力,可以为你答疑解惑、激发灵感、创造艺术,还能扮演角色,进行更自然的对话。站长网2024-02-01 08:48:040000菜鸟驿站爆改大征集:夜间自助取件 这5个城市方便了
很多上班族下班回家很晚,取快递就不太方便了,菜鸟驿站发起了夜间取件”爆改大征集,免费改造5个城市的驿站,以后凌晨24点也可以自助取件了,非常方便。快科技从菜鸟方面获悉,继在多个城市开通夜间取件”功能后。5月6日,菜鸟驿站官方发布公告,面向上海、广州、深圳、杭州、成都五城消费者,征集夜间取件”改造需求。站长网2023-05-06 17:05:190004产业链人士:苹果 iPhone 15 Pro 系列取消固态按键设计属实 延后可能性大
日前分析师郭明錤分享的最新信息称,下一代iPhone15Pro和iPhone15ProMax将不再采用固态按钮,原因是「在大规模生产前尚未解决技术问题」。站长网2023-04-13 08:58:340000Sora计划在今年内发布 将采用与Dall-E类似的内容过滤策略
Sora计划在今年内发布。据悉,Sora将推出一种全新的视频生成技术,能够在短短几分钟内生成一段20秒的720p视频,而不需要花费几个小时的时间。站长网2024-03-14 10:03:100000