阿里推文生3D数字人项目Make-A-Character 人人皆成3D角色设计师

阿里又推“黑科技”!这次瞄准了文生3D人。Make-A-Character支持一句话生成超逼真的3D数字人。只需要通过文字描述人的脸型、五官、发型等特征，它就能在不到2分钟的时间内生成一个超逼真的3D角色。

项目及演示:https://top.aibase.com/tool/make-a-character

论文地址:https://arxiv.org/pdf/2312.15430.pdf

代码:https://github.com/Human3DAIGC/Make-A-Character

试玩地址:https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summary

而且你可以自定义面部特征，例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子，以及添加皱纹和雀斑等。

Make-A-Character（MACH）的主要特点:

1、可控制性:用户可以详细自定义面部特征，例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子，以及添加皱纹和雀斑等。

2、高度逼真:角色基于真实人类扫描数据集生成，发型为实际发丝而非网格，使用Unreal Engine的物理基础渲染（PBR）技术渲染，以实现高质量实时渲染效果。

3、完整模型:每个角色都是完整模型，包括眼睛、舌头、牙齿、全身和服装，无需额外建模即可立即使用。

4、可动画化:角色配备复杂的骨骼装置，支持标准动画，增强其逼真外观和多样化应用。

5、行业兼容:生成的3D角色可以无缝集成到现有的计算机图形（CG）工作流程中，特别是在游戏和电影行业中常用的工作流程。

MACH支持英文和中文提示，可根据详细的文本描述快速生成3D角色，例如“圆脸胖女士”或“棕皮肤戴黑眼镜的男孩，绿色头发”等等。

工作原理:

Make-A-Character（MACH）结合了大语言模型、视觉模型和3D生成技术。

1、文本解析:首先，MACH使用大语言模型（比如GPT类模型）来理解用户输入的文本描述。这个过程中，它会识别出文本中提到的各种面部特征，例如脸型、眼睛形状、嘴巴形状、发型和颜色等。

2、视觉映射:接着，这些语义属性（如脸型、眼睛形状等）被映射到对应的视觉线索上。这意味着系统会根据文本中的描述生成一个参考的人脸图像。这个步骤通常使用像“Stable Diffusion”这样的图像生成模型来完成。

3、2D面部解析:生成的参考图像接下来会经过2D面部解析过程，这一过程涉及到对人脸的不同部分进行识别和分割。

4、3D生成:基于面部解析的结果，MACH开始生成目标角色的3D网格和纹理。这个过程包括创建角色的3D模型，并且将纹理（如皮肤、头发等）应用到模型上。

5、附加配件:如果文本描述中提到了其他配件（如眼镜、帽子等），这些也会在这一步骤中添加到3D角色上。

6、参数化表示和动画:最终生成的3D角色是参数化的，这意味着可以容易地对其进行动画处理，比如添加行走、说话等动作。

通过这些步骤，MACH可以快速从简单的文本描述中生成逼真的、完整的、可动画化的3D角色，适用于各种娱乐和专业场景。