麻省理工学院推GenSim项目：利用大语言模型编写机器人新任务

**划重点:**

1. 🌐 MIT CSAIL的“GenSim”项目利用大型语言模型（LLMs）如GPT-4，通过自动生成新任务或详细说明所需行为的每个步骤，扩大了机器人可以接受培训的仿真任务范围。

2. 🤖 GenSim系统具有目标导向和探索两种模式，通过LLM生成任务描述和模拟行为所需的代码，然后利用任务库优化代码，最终生成能教导机器人执行新任务的仿真。

3. 💡 在经过人类预训练的基础上，GenSim自动产生了100种新行为，相比之下，类似的基准测试需要手动编写每个任务。该系统在演示中成功地训练机械臂执行任务，如以比可比方法更高的速度放置彩色积木。

你可能听说过“经验是最好的老师”，但如果在现实世界中学习成本太高怎么办?这是训练机器人进行操纵任务的机器人学家所面临的困境。由于真实世界的互动数据昂贵，他们的机器人通常通过不同活动的模拟版本进行学习。

图源备注：图片由AI生成，图片授权服务商Midjourney

然而，这些模拟只能提供有限范围的任务，因为每个行为都是由人类专家单独编码的。因此，许多机器人无法完成它们之前未见过的任务提示。例如，机器人可能无法组装玩具汽车，因为它需要理解该请求中的每个较小任务。如果没有足够的创造性模拟数据，机器人无法完成这个总体过程中的每一步（有时称为长时程任务）。

麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的“GenSim”试图通过用户提示大型语言模型(LLMs)自动生成新任务或概述所需行为的每一步来扩大这些机器人可以接受培训的模拟任务。该方法通过利用像GPT-4这样的模型内部的代码，帮助机器人完成制造、家务和物流等任务中的每个步骤。

该系统具有目标导向和探索两种模式。在目标导向设置中，GenSim接受用户输入的任务，并分解完成该目标所需的每一步。在探索设置中，系统提出新任务。在这两种模式下，该过程始于LLM生成任务描述和模拟行为所需的代码。然后，模型使用任务库优化代码。这些说明的最终版本可以创建教导机器人如何执行新任务的仿真。

在人类对系统进行了十个任务的预训练后，GenSim自动产生了100种新行为。与此同时，可比较的基准测试只能通过手动编写每个任务来达到相同的效果。GenSim还在几次演示中协助机械臂成功执行任务，例如以比可比方法更高的速度放置彩色积木。

麻省理工学院计算机科学与人工智能实验室的博士生Lirui Wang表示:“起初，我们认为将大型语言模型中找到的概括和外推能力引入机器人将是令人惊异的。因此，我们着手通过仿真程序的媒介来提炼那些知识。然后，我们在仿真任务上训练的模型基于生成的任务进行了实际政策引导，通过适应性进行演示，表明GenSim在仿真和实际世界中均可行。”

GenSim可能有助于厨房机器人、制造业和物流领域，在这些领域，该方法可以生成用于培训的行为。这将使机器人能够适应具有多步骤过程的环境，例如堆叠和将箱子移动到正确的区域。

目前，该系统只能辅助拾取和放置活动，但研究人员相信GenSim最终可以生成更复杂、更灵活的任务，例如使用锤子、打开盒子并将物品放在架子上。此外，该方法容易出现幻觉和基础问题，需要进一步进行真实世界测试以评估其生成任务的实用性。尽管如此，GenSim为LLMs在构思新型机器人活动方面展示了令人鼓舞的未来。

项目网址:https://github.com/liruiw/GenSim