首个人体动捕基模型SMPLer-X面世 可捕捉身体甚至面部动作

要点:

1. 首次提出了动捕大模型SMPLer-X，用来进行人体全身姿态与体型估计，通过训练450万个实例，在七个关键榜单上取得最佳性能。

2. SMPLer-X不仅能够捕捉身体动作，还可以输出面部和手部动作，并估计体型。

3. 该研究探索了数据缩放与模型缩放，对32个学术数据集进行排名，展示了在各种测试和榜单中的强大性能。

首个人体动捕基模型SMPLer-X在NeurIPS2023上亮相。本研究首次针对人体全身姿态与体型估计任务引入了SMPLer-X，通过使用来自多个数据源的450万个实例进行训练，成功刷新了七个关键榜单的最佳性能。

项目地址:https://caizhongang.github.io/projects/SMPLer-X/

SMPLer-X不仅能够进行身体动作捕捉，还可以输出面部和手部动作，甚至估计体型。这一模型的强大性能得益于大量的数据和大型模型，即使在未知环境中也表现出出色的通用性。

研究人员在研究中进行了数据扩展、模型缩放以及微调策略的探索，以进一步提高模型性能。通过对32个不同的学术数据集进行排名，SMPLer-X在关键榜单上实现了最佳性能，并展示了数据缩放和模型缩放的有效性。

这个研究还强调了数据集的泛化性研究，指出在模型训练中使用10万个实例数量级的数据集可以获得高性价比。此外，对不同数据集的采集场景和标注也进行了详细研究，强调了生成数据集和伪标签数据集的重要性。

总的来说，SMPLer-X的提出和研究为人体动捕领域带来了重要的突破，为学术社区提供了强大的全身人体动捕大模型。该研究的代码和预训练模型已经开源，为更广泛的应用提供了便利。这一成果不仅可以用于角色动画制作，还在许多其他领域具有潜在的应用前景。