中国研究团队发布多视角数据集“FreeMan” 解决3D人体姿势估计局限性

文章概要:

- “FreeMan”是一份大规模多视角数据集，旨在解决现有3D人体姿态估计数据集的局限性。

- 数据集包含来自8台同步智能手机的1100万帧，跨足了室内和室外环境，具备不同光照条件，提供了更真实的场景多样性。

- 研究者通过自动化的标注流程，包括人体检测、2D关键点检测、3D姿态估计和网格标注，生成了精确的3D标注，可用于多种任务，如单2D到3D转换、多视角3D估计和神经渲染。

从真实场景中估计人体的三维结构是一项具有挑战性的任务，对于人工智能、图形学和人机交互等领域具有重要意义。然而，现有的3D人体姿态估计数据集通常在受控条件下收集，具有静态背景，无法代表真实世界场景的多样性，从而限制了用于真实应用的准确模型的开发。

在这方面，类似于Human3.6M和HuMMan的现有数据集广泛用于3D人体姿态估计，但它们是在受控的实验室环境中收集的，无法充分捕捉真实世界环境的复杂性。这些数据集在场景多样性、人体动作和可扩展性方面存在局限。研究人员提出了各种模型用于3D人体姿态估计，但由于现有数据集的局限性，它们的效果通常在应用于真实场景时受到阻碍。

中国的一支研究团队推出了“FreeMan”，这个由来自香港中文大学（深圳）和腾讯等机构的团队共同合作开发的项目，被誉为革新性的多视角数据集，旨在为3D人体姿势估计领域带来新的突破。

FreeMan是一个新颖的大规模多视角数据集，旨在解决现有数据集在真实场景中3D人体姿态估计方面的局限性。FreeMan是一项重要的贡献，旨在促进更准确和稳健模型的开发。

FreeMan项目的特点之一是其数据集的规模和多样性。该数据集由8部智能手机在不同场景下的同步录制组成，包括10个不同场景、27个真实场地，总计包含了超过1100万帧的视频。每个场景都涵盖了不同的照明条件，使得这个数据集成为一个独一无二的资源。

FreeMan数据集的开源是为了促进大规模预训练数据集的发展，同时也为户外3D人体姿势估计提供了全新的基准。这一数据集不仅包括视频，还提供了丰富的注解信息，包括2D和3D人体关键点、SMPL参数、边界框等，为研究人员提供了丰富的资源以推动相关领域的研究。

值得注意的是，FreeMan引入了相机参数和人体尺度的变化，使其更具代表性。研究团队开发了自动化的标注流程，以从收集的数据中高效生成精确的3D标注。这一流程包括人体检测、2D关键点检测、3D姿态估计和网格标注。由此产生的数据集对于多种任务都非常有价值，包括单目3D估计、2D到3D转换、多视角3D估计和人体主体的神经渲染。

研究人员提供了对FreeMan进行各种任务的全面评估基线。他们将在FreeMan上训练的模型与在Human3.6M和HuMMan上训练的模型的性能进行了比较。值得注意的是，在3DPW数据集上测试时，训练在FreeMan上的模型表现出显著更好的性能，突显了FreeMan在真实场景中的卓越泛化能力。

在多视角3D人体姿态估计实验中，与在Human3.6M上训练的模型相比，在跨领域数据集上测试时，训练在FreeMan上的模型表现出更好的泛化能力。结果一致显示了FreeMan多样性和规模的优势。

在2D到3D姿态转换实验中，FreeMan的挑战显而易见，因为在这个数据集上训练的模型面临更大的难度。然而，当模型在整个FreeMan训练集上进行训练时，其性能得到改善，显示出该数据集提高模型性能的潜力。

FreeMan的可用性预计将推动人体建模、计算机视觉和人机交互领域的进步，弥合了受控实验室条件与真实场景之间的差距。

项目网址:https://wangjiongw.github.io/freeman/