南洋理工发布视觉可编程智能体Octopus 干家务、玩游戏都拿手

要点:

通过在大量视觉输入和可执行代码的数据对的训练，Octopus 学会了如何操控电子游戏的角色完成游戏任务，或者完成复杂的家务活动。

Octopus 通过视觉输入学习、理解真实世界，并以生成可执行代码的方式完成各种实际任务，具备了规划推理和根据实时环境做出反馈的能力。

研究者通过构建 OctoGibson 和 OctoGTA 两个仿真环境，提供了可用于训练和测试 Octopus 的场景，并开发了数据收集系统来高效获取训练数据。

南洋理工大学、清华大学等发布了一种名为 Octopus 的视觉可编程智能体，它通过在大量视觉输入和可执行代码的数据对的训练中学会了如何操控电子游戏的角色完成游戏任务，或者完成复杂的家务活动。

Octopus 具备规划推理和根据实时环境做出反馈的能力，能够理解真实世界并生成可执行代码来完成各种实际任务。为了训练 Octopus，研究者们创建了 OctoGibson 和 OctoGTA 两个仿真环境，提供了可用于训练和测试 Octopus 的场景，并开发了数据收集系统来高效获取训练数据。

论文地址:https://arxiv.org/abs/2310.08588

项目网页:https://choiszt.github.io/Octopus/

开源代码:https://github.com/dongyh20/Octopus

OctoGibson 是基于斯坦福大学开发的 OmniGibson 的仿真环境，包含了476个符合现实生活的家务活动，模型可以操作其中的可交互物体来完成任务。OctoGTA 则基于《侠盗猎车手》（GTA）游戏，构建了20个任务并将其泛化到不同的场景中。研究者利用这两个仿真环境中的任务来训练 Octopus，并通过强化学习算法进一步提升模型的任务规划能力。

为了高效收集训练数据，研究者构建了一套完整的数据收集系统。他们引入了 GPT-4作为任务的执行者，通过预先实现的函数将视觉输入处理为文本信息提供给 GPT-4，再在仿真环境中执行代码，并判断任务是否完成。如果任务失败，会回到上一步的起始位置重新采集数据。在数据收集过程中，研究者记录了每个子任务的成功情况，为后续引入强化学习提供了基础。

通过在大量训练数据上进行监督式微调，研究者构建出了一个能够以视觉信息作为输入，遵循固定格式输出的 VLM 模型。然后，他们引入了 RLEF（Reinforcement Learning with Environmental Feedback）来进一步提升 Octopus 的任务规划能力，利用先前采集的子任务的成功情况作为奖励信号。

实验结果显示，经过 RLEF 训练的 Octopus 模型在任务规划和推理能力上有了显著的提升，即使面对模糊的任务指令，也能提供更加合理的计划。

综上所述，Octopus 是一种具备视觉可编程能力的智能体，通过在仿真环境中的训练学会了操控角色完成游戏任务和家务活动。它具备规划推理和根据实时环境做出反馈的能力，通过 RLEF 训练策略进一步提升了任务规划和推理能力。这一研究对于实现大模型的具身智能化具有重要意义，为进一步探索视觉 - 语言模型的应用提供了新的思路。