登陆注册
12415

新NeRF技术:将视频转化为可控制的3D模型 创建数字人更简单了

站长网2023-11-08 11:08:341

划重点:

1. 🤖 Fraunhofer Heinrich Hertz研究团队引入新技术,使用神经辐射场(NeRF)将标准RGB视频转化为可控制的3D人体模型,简化了数字人物创建过程。

2. 👥 这一创新有望在电影、游戏、虚拟现实等领域,降低数字人物模型制作成本,提供更多应用可能。

3. 🖼️ NeRF技术通过预测光线与场景的交互来创建逼真的3D图像,为实现从不同角度的人物动作提供了新途径。

近日,Fraunhofer Heinrich Hertz研究团队取得重大突破,他们引入了一项全新技术,使用神经辐射场(NeRF)将标准RGB视频转化为可控制的3D人体模型。这一创新代表了计算机图形领域中的一项重要进展,解决了从视频片段中创建逼真、可控制的3D模型一直以来的难题。

传统上,要创建逼真的3D人物模型通常需要昂贵的多摄像头设置和复杂的手工建模,因此不适用于众多低成本应用。然而,Fraunhofer Heinrich Hertz研究团队的新技术为这一问题提供了创新性的解决方法。他们通过NeRF技术,可以直接从标准RGB视频素材中重建出精细的3D人体模型,无需昂贵设备和繁重的人工劳动。

NeRF技术,即神经辐射场,是一项用于创建逼真3D图像的新技术。它通过算法预测光线如何与场景交互,从而创建出看似真实的图像,即使是从以前未见过的角度观察。然而,将NeRF技术应用于捕捉人物运动和不同姿态的图像是一个更加复杂的问题。人类和他们的运动是复杂多变的,NeRF需要理解这种复杂性才能创建出清晰的图像。

研究介绍了一种名为Surface-Aligned Neural Radiance Fields (UVH-NeRF)的技术,该技术提供了一个从视频素材中生成详细3D人像图像的过程。

该方法包括将3D人体模型与视频中的人物进行对齐,通过将2D图像映射到模型的表面来创建贴图,以及使用神经网络来微调模型的空间变换,确保NeRF对人体模型的表示精确对齐。通过这些步骤,NeRF可以学习并呈现出多种姿势和角度的人物模型,创造出多功能和动态的3D人像。

以下是该方法的细分:

1.将3D 人体模型调整为视频:第一步是将3D 人体模型与视频中的主题对齐。这通过提供在整个视频序列中反映人物形状和动作的3D 结构,为后续步骤奠定了基础。

2.使 NeRF 适应人体几何形状:该方法通过以下方式修改传统的 NeRF 空间:

将点投影到模型的表面上:它在3D 模型的表面上定位与视频中的位置相对应的点。这些点用于将2D 图像中的纹理映射到模型上。

计算与模型表面的距离:对于空间中的每个点,该技术计算其与模型表面的距离,这有助于确定点相对于模型的位置(内部、上方或外部)。

结合关节运动:它使用骨骼关节数据为模型制作动画,这有助于以不同的姿势呈现人。

3.使用神经网络完善空间理解:神经网络被教导微调这种空间转换,确保 NeRF 的空间表示准确并与人类模型保持一致。

从研究结果来看,这项技术在从视频片段生成3D模型方面表现出令人印象深刻的潜力。虽然目前仍存在一些限制,尤其是在复杂运动和较长序列方面,但它为将来的研究和改进奠定了基础。

这一创新的应用前景广泛,有望降低数字人物模型的制作成本,对电影、游戏、虚拟现实等领域产生积极影响。最终,这项工作将数字人物的创建变得更加可行,为个人创作者和小型制作团队带来更多应用可能性。

0001
评论列表
共(0)条