斯坦福大学提出RT-Sketch 手绘轮廓助机器人完成任务

要点:

1、RT-Sketch提出了一种目标导向的操作策略，使用手绘草图作为视觉模仿学习中的目标规范方式。草图具有用户友好性，能够有效地帮助策略区分任务相关和任务无关的对象。

2、为了训练RT-Sketch，作者首先使用图像到草图的生成对抗网络（GAN）将图像自动转化为草图，然后通过合成生成的草图来构建数据集。这种方法使RT-Sketch能够以不同精细程度的草图作为输入，并在直观操作任务中表现出色。

3、RT-Sketch在直观操作任务中表现出色，与基于图像或语言的策略相媲美，尤其在语言目标模糊或存在视觉干扰时表现更为鲁棒。此外，RT-Sketch还具备解释和执行不同精细程度草图的能力。

斯坦福大学的研究人员发现，手绘一个大致的轮廓，让机器人完成任务，是一种新颖的沟通方式。这种方式对于标准的拾取和放置任务非常有效。

RT-Sketch是一项关于使用手绘草图作为目标规范方式的目标导向操作策略。草图具有易于用户提供、同时能够帮助策略在视觉任务中更好地理解环境的特点。

通过一个简单的交互界面，让用户手绘任务的轮廓，机器人可以快速而准确地完成任务。这种方式的优点在于，人们可以用他们自己的方式表达任务，而不是受限于预定义的语言或符号。这种交互方式不仅能够提高生产效率，还能够帮助机器人更好地理解人类的意图。

项目地址：https://rt-sketch.github.io/

为了训练RT-Sketch，研究人员首先使用生成对抗网络将图像转化为草图，并通过合成生成的草图来构建训练数据集。这种方法允许RT-Sketch接受不同精细程度的草图作为输入，从而在直观操作任务中展现出强大的性能。

实验证明，RT-Sketch在处理语言目标模糊或存在视觉干扰时表现出色，甚至在直观任务中与基于图像或语言的策略媲美。此外，RT-Sketch还具备解释和执行不同精细程度草图的能力，从简单的线条草图到详细的彩色草图都能胜任。

RT-Sketch的研究为机器人技术带来了新的可能性，为人机交互开辟了新的途径。手绘轮廓助机器人任务完成，成为了一种创新的沟通方式，将为工业生产和智能技术的发展带来新的动力。