AI研究也能借鉴印象派？D3GA全新虚拟建模技术亮了

要点:

D3GA（Dynamic3D Gaussian Splatting）是一项在虚拟角色建模中创新性运用高斯泼溅的技术，旨在创造逼真、动态的虚拟角色，与印象主义艺术运动中的短小、断断续续的笔触相对应。

采用3D Gaussian Splatting（3DGS）技术，相较于基于神经辐射场的方法，D3GA在更高的帧率下呈现更高质量的图像，无需复杂的预处理和准确的3D初始化。

通过基于人体姿势的紧凑输入，包括骨骼关节角度和3D面部关键点，训练了个体特定模型，实现对虚拟角色各种动态部分的驱动。

近期，一项名为D3GA的技术引起了人们的关注，该技术在虚拟角色建模领域带来了创新。D3GA通过创造性地运用高斯泼溅技术，实现了逼真、动态虚拟角色的构建。这种技术创新是对印象主义艺术运动的借鉴，通过模仿其独特的笔触风格，使虚拟角色呈现出与真实世界更相似的外观。

传统的虚拟角色构建通常要求在训练期间进行准确的3D配准，或者在测试期间需要大量密集的输入图像。然而，D3GA采用了3DGS技术，相较于神经辐射场方法，在更高的帧率下提供了更高质量的图像，并且无需复杂的预处理和准确的3D初始化。这一优势使得D3GA成为一种更为高效的虚拟角色构建方法。

论文链接:https://arxiv.org/pdf/2311.08581.pdf

项目链接:https://top.aibase.com/tool/d3ga

驱动型虚拟角色的构建是D3GA的另一重要方面。通过基于人体姿势的紧凑输入，包括骨骼关节角度和3D面部关键点，研究人员成功训练了个体特定的模型，覆盖了各种身体形状、动作和服装。这使得以后可以通过任何主体的新姿势来驱动虚拟角色，实现更加灵活和个性化的虚拟角色表现。

D3GA的方法概览中提到了采用仅正向映射的方法，避免了反向映射过程中可能累积误差的问题。通过神经表示和cage的扩展，D3GA成功地对虚拟角色的每个动态部分进行了颜色和几何形状的建模。最终的渲染结果在多项指标上表现优异，不仅在PSNR和SSIM上超过了传统方法，还在感知度量LPIPS上取得了显著的成绩。

综合而言，D3GA技术的创新性、基于3DGS的优势、驱动型虚拟角色构建以及采用仅正向映射的方法，使得这一方法在虚拟角色建模领域具有巨大的潜力和前景。未来，D3GA有望为虚拟角色的逼真表现和动态驱动带来更多可能性。