英伟达开源15T数据集：32万个机器人训练轨迹

全球AI领导者英伟达开源了，用于实体机器人和自动化驾驶的超大训练数据合集——NVIDIA Physical AI Dataset。

这个数据集一共15T，涵盖了超过320，000个机器人训练轨迹，以及多达1，000个通用场景描述，还包括一个SimReady集合。

此外，用于支持端到端自动驾驶汽车（AV）开发的专用数据即将推出，这些数据将包括来自美国1，000多个城市和欧洲二十多个国家的多样化交通场景的20秒剪辑，这对于训练自动化驾驶非常珍贵。

开源地址:https://huggingface.co/collections/nvidia/physical-ai-67c643edbb024053dcbcd6d8

Physical AI Dataset包含NVIDIA用于训练、测试和验证物理AI的真实世界和合成数据的一个子集，这些数据用于NVIDIA Cosmos世界模型开发平台、NVIDIA DRIVE AV软件栈、NVIDIA Isaac AI机器人开发平台以及NVIDIA Metropolis智能城市应用框架。

能够帮助开发者在预训练阶段扩展AI性能，因为更多的数据有助于构建更健壮的模型;同时，在后训练阶段，AI模型通过在额外数据上训练来提高其针对特定用例的性能。

收集、策划和注释一个涵盖多样化场景并准确表示现实世界物理和变化的数据集是耗时的，这成为了大多数开发者的瓶颈。

对于学术研究人员和小型企业来说，运行一个车队数月以收集自动驾驶汽车AI的数据是不切实际且成本高昂的，而且由于收集到的大部分镜头都是平淡无奇的，通常只有10%的数据被用于训练。但这种规模的数据收集对于构建安全、准确、商业级模型是必不可少。

例如，NVIDIA Isaac GR00T机器人模型需要数千小时的视频剪辑进行后训练，而NVIDIA DRIVE AV端到端AI模型则需要数万小时的驾驶数据来开发。

该数据集还包含了数千小时的多摄像头视频，其多样性和地理覆盖范围是前所未有的，它将特别有利于安全研究领域，通过支持新的工作来识别异常值和评估模型泛化性能。这一努力也对NVIDIA Halos的全栈自动驾驶安全系统做出了贡献。

除了利用NVIDIA Physical AI Dataset来满足他们的数据需求外，开发者还可以通过像NVIDIA NeMo Curator这样的工具进一步提升AI开发，这些工具可以高效地处理大量数据集以进行模型训练和定制。使用NeMo Curator，在NVIDIA Blackwell GPU上仅需两周时间就能处理2，000万小时的视频，相比之下，未优化的CPU管道则需要3.4年。

目前，已经有很多著名机构使用该数据集来训练AI产品，在圣地亚哥加州大学的机器人实验室中，包括专注于医疗应用、人形机器人和家庭辅助技术的团队，通过该数据集的机器人数据可以帮助开发能够理解空间上下文的语义AI模型，例如家庭、酒店房间和医院。

在自动驾驶汽车领域，圣地亚哥实验室将该数据集应用于训练AI模型，以理解各种道路使用者的意图，并预测最佳行动方案。还可以使用该数据集来支持开发数字孪生模型，模拟边缘案例和恶劣天气条件。这些模拟可以用于在现实世界环境中罕见的情况下训练和测试自动驾驶模型。

在伯克利深度驾驶中心，这是一个领先的自动驾驶系统AI研究中心，该数据集可以支持开发自动驾驶汽车的策略模型和世界基础模型。

卡内基梅隆大学安全AI实验室的研究人员计划使用该数据集，来推进他们评估和认证自动驾驶汽车安全性的研究工作。该团队计划测试在该数据集上训练的物理AI基础模型在模拟环境中罕见条件下的表现，并将其性能与在现有数据集上训练的自动驾驶汽车模型进行比较。

英伟达表示，未来将继续扩展Physical AI Dataset，将其建设成世界最大、统一的开源数据集，可用于AI模型、医疗、自动化驾驶等不同领域，加速AI、实体机器人的训练效率。