CHOIS:基于语言引导的合成逼真3D人机交互的AI方法

**划重点:**

1. 🌐 CHOIS是由斯坦福大学与FAIR Meta研究团队开发的AI系统，通过语言描述、初始状态和稀疏对象航点，实现了在3D场景中生成对象和人物同步运动的突破性方法。

2. 🚶‍♂️ 与先前集中于手部运动合成的方法不同，CHOIS关注在对象抓取之前的全身运动，并根据人体运动预测对象运动，为交互式3D场景模拟提供全面解决方案。

3. 📈 CHOIS通过使用条件扩散方法生成基于语言描述、对象几何和初始状态的同步对象和人体运动，通过评估显示在条件匹配、接触准确性等指标上的优越性，提高了在3D环境中生成逼真人物行为的能力。

斯坦福大学与FAIR Meta的研究人员合作开发的CHOIS系统，通过引入基于语言描述、初始状态和稀疏对象航点的方法，成功解决了在3D场景中生成对象和人物同步运动的难题。该系统通过在指定的3D环境中产生逼真且可控的运动，控制了人物与对象之间的交互。

CHOIS利用大规模高质量的运动捕捉数据集（如AMASS），推动了生成式人体运动建模的兴趣，包括动作条件和文本条件的合成。与以往使用VAE公式从文本生成多样人体运动的方法不同，CHOIS专注于人物与对象的交互。与侧重于手部运动合成的现有方法不同，CHOIS考虑了在对象抓取之前的全身运动，并根据人体运动预测对象运动，为交互式3D场景模拟提供了全面的解决方案。

CHOIS解决了在3D环境中合成逼真人物行为的重要需求，对计算机图形学、具身人工智能和机器人技术至关重要。该系统通过基于语言描述、初始状态和稀疏对象航点生成同步的人体和对象运动，应对了逼真运动生成、适应环境杂乱、以及从语言描述中合成交互的挑战，为在不同3D场景中可控的人物-物体交互提供了全面的系统。

在评估阶段，CHOIS系统与基线和消融模型进行了严格对比，展示了在条件匹配、接触准确性、减少手-物体穿透和脚浮动等指标上的卓越性能。在FullBodyManipulation数据集上，对象几何损失提升了模型的性能。在3D-FUTURE数据集上，CHOIS在新对象上的泛化表现优于基线和消融模型。人类感知研究突显了CHOIS在与文本输入对齐以及相比基线更优越的交互质量方面的优势。定量指标包括位置和方向误差，用于衡量生成结果与地面真实运动之间的偏差。

总体而言，CHOIS是一个基于语言描述和稀疏对象航点生成逼真人物-物体交互的系统。在培训过程中，该程序考虑了对象几何损失，并在采样过程中采用了有效的引导术语，以增强结果的逼真性。CHOIS学到的交互模块可以集成到一个管道中，用于基于语言和3D场景合成长期交互。CHOIS在生成与提供的语言描述一致的逼真人物-物体交互方面有了显著改进。

未来的研究可以探索通过整合额外的监督，如对象几何损失，以提高生成的对象运动与输入航点的匹配性。研究更先进的引导术语以强制执行接触约束可能会产生更逼真的结果。将评估扩展到多样的数据集和场景将测试CHOIS的泛化能力。进一步的人类感知研究可以提供有关生成交互的更深层次的洞察。将学到的交互模块应用于基于3D场景对象航点生成长期交互也将拓展CHOIS的适用性。

项目网址:https://lijiaman.github.io/projects/chois/

论文网址:https://arxiv.org/abs/2312.03913