登陆注册
17914

浙大团队推​SIFU模型:单张图像准确重建高质量3D人体模型

站长网2024-01-18 14:29:390

划重点:

🌐 SIFU模型创新性解决单张图像重建3D人体模型问题

👥 引入侧视图条件隐函数及3D一致性纹理编辑方法

📈 在几何和纹理重建上表现出色,具有更高鲁棒性和广泛应用场景

在AR、VR、3D打印、场景搭建以及电影制作等多个领域中,获得高质量穿着衣服的人体3D模型变得至关重要。然而,传统的创建方法耗时且需要专业设备捕捉多视角照片,还依赖技术熟练的专业人员。

与此相反,浙江大学ReLER实验室的研究人员提出了一种名为SIFU的模型,该模型能够从单张图像准确重建3D人体模型,从而显著降低了成本并简化了独立创作的过程。

传统的深度学习模型用于3D人体重建通常需要经历从图像中提取2D特征、将2D特征转换到3D空间,以及将3D特征用于人体重建的三个步骤。然而,在2D特征转换到3D空间的阶段,过去的方法常常忽略了人体先验的引入,导致特征提取不充分,从而影响最终的重建结果。

为了解决这个问题,SIFU模型引入了侧视图条件隐函数,通过在2D特征转换到3D空间时加入人体侧视图作为先验条件,增强了几何重建效果。此外,在纹理预测的阶段,模型还引入了预训练的扩散模型,以解决不可见区域纹理预测较差的问题。

SIFU模型的运行分为两个阶段。在第一阶段,借助侧隐式函数,模型重建人体的几何和粗糙的纹理。在第二阶段,通过3D一致性纹理优化流程,模型对纹理进行精细化。这一流程中,作者设计了一种独特的Side-view Decoupling Transformer,通过全局编码器提取2D特征后,在解码器中引入人体先验模型的侧视图,使得在图像2D特征中解耦出人体不同方向的3D特征,从而用于重建。

实验结果显示,SIFU模型在几何重建和纹理重建方面均表现出色,不仅在全面多样的测试集上取得了最好的效果,而且在模型面对有误差的人体先验模型时依然具有较好的重建精度。

该模型的高精度和高质量重建效果使得其在3D打印、场景搭建、纹理编辑等领域具有广泛的应用前景。SIFU模型为单张图片人体重建提供了一种创新的方法,为未来的研究和实际应用提供了新的思路。

论文地址:https://arxiv.org/abs/2312.06704

项目代码:https://github.com/River-Zhang/SIFU

0000
评论列表
共(0)条