Google AI推出SANPO:多属性视频数据集助力高级视觉场景理解

划重点:

- Google AI推出了SANPO数据集，用于户外人类主观场景理解。

- SANPO包括真实世界和合成数据，具有丰富的注释和多属性特征。

- 这个数据集将有助于研究人员开发视觉导航系统，支持视障人士，并拓展先进的视觉场景理解。

Google AI最近推出了名为SANPO的数据集，旨在帮助AI模型更好地理解户外人类主观场景。这一数据集的重要性在于，它不仅包括真实世界的数据，还包括合成数据，以及丰富的注释和多属性特征。这个数据集的推出将有助于解决自动驾驶领域之外的人类主观场景理解的问题。

SANPO数据集的名称来源于其功能，包括“场景理解、可访问性、导航、路径规划和障碍物避免”。它由真实世界数据和合成数据组成，其中真实世界数据包括来自两个立体摄像头的视频，支持多视角方法。这个数据集还包括了11.4小时的视频，以每秒15帧的速度捕获，并具有密集的注释。

为了保护隐私，Google的研究人员在数据采集过程中遵循了当地、城市和州级的法律，并在发送数据进行注释之前，确保删除了任何个人信息，如人脸和车辆牌照。

为了克服捕捉视频时的不完美，比如运动模糊和人工评分错误，研究人员引入了SANPO-Synthetic，这是一个高质量的合成数据集，旨在与真实世界的条件相匹配。SANPO-Synthetic包括1961个会话，使用虚拟化的Zed相机录制，头部和胸部位置均衡分布。

SANPO数据集的另一个特点是对一部分真实世界数据和合成数据进行了全景实例掩模的注释，为每个像素分配了类别和ID。与真实世界数据不同，SANPO-Synthetic每帧包含更多实例。此外，SANPO是唯一一个同时具有全景分割和深度图像数据的数据集。

研究人员使用SANPO数据集训练了两个最先进的模型，分别用于深度估计和全景分割。他们发现，这一数据集对于密集预测任务来说非常具有挑战性，而合成数据的准确性要高于真实数据，这主要是因为真实世界的环境相对复杂，而合成数据的分割注释更加精确。

SANPO数据集的推出填补了人类主观场景理解领域缺乏数据集的空白，它包括真实世界和合成数据，具有丰富的注释和多属性特征，以及全景分割和深度信息的独特组合。此外，研究人员的隐私承诺使这一数据集能够支持其他研究人员开发面向视障人士的视觉导航系统，并推动先进的视觉场景理解领域的发展。

SANPO博客介绍:https://blog.research.google/2023/10/sanpo-scene-understanding-accessibility.html