登陆注册
23508

从ALOHA迈向Humanplus,斯坦福开源人形机器人,「高配版人类」上线

站长网2024-06-16 23:51:060

人形机器人的「Hello World」。

说起前段时间斯坦福开源的 Mobile ALOHA 全能家务机器人,大家肯定印象深刻,ALOHA 做起家务活来那是有模有样:滑蛋虾仁、蚝油生菜、干贝烧鸡,一会儿功夫速成大餐:

研究团队来自斯坦福,由三个人共同打造完成。Zipeng Fu 为项目共同负责人,他是斯坦福大学 AI 实验室的计算机科学博士生,师从 Chelsea Finn 教授;Tony Z. Zhao 也是斯坦福大学的计算机科学博士生,导师也是 Chelsea Finn。

现在,继 ALOHA 之后,Zipeng Fu、Chelsea Finn 等人又联合推出了一款新的机器人研究 HumanPlus,不过这次 Tony Z. Zhao 没有出现在作者栏里,而是在致谢名单上。

HumanPlus 团队成员。

这款机器人能够自主的叠衣服,然而即使是2倍速,动作看起来也是慢吞吞:

充当仓库的搬运工,准确的将物品放置在机器狗背上的篮子里:

给大家表演个向后跳的节目,就像人类一样,扎个马步让自己稳妥一点:

可能你都不会弹的钢琴,但这次机器人会了,它不是乱弹一通,仔细听还能听出旋律来:

化身你的乒乓球搭子,来上几个回合没有问题:

像个电脑新手一样,在键盘上努力的敲出「HELLO WORLD」

打起拳来也是有模有样

值得一提的是,这次斯坦福团队公布了论文、机器人材料清单、数据集以及代码。正如 Tony Z. Zhao 所表示的「这是唯一一篇完全开源的论文,虽然我们处在一个前沿的研究时代,但充满了闭源、竞争等其他因素的限制,这个领域需要更多开放的科学,而不是酷炫的演示。」

根据材料清单我们推测完成机器人组装大约花费107,945美元。

研究介绍

论文地址:https://humanoid-ai.github.io/

论文标题:HumanPlus: Humanoid Shadowing and Imitation from Humans

长期以来,人形机器人因其类似人的形态而备受关注。这主要得益于我们周围的环境、工具等都是依据人类形态而设计的,因此人类大小的机器人在解决人类从事的任务上潜力巨大。

通过模仿人类,人形机器人为实现通用机器人智能提供了一个充满希望的途径。

然而,在实际操作中,要让人形机器人从以自我为中心的视角学习自主技能仍然面临挑战。这主要是因为人形机器人在感知和控制方面的复杂性,以及其在形态结构和执行机制上与人类之间仍存在的物理差异。此外,还缺乏一套数据处理流程,可以让人形机器人通过以自我为中心的视角学习自主技能。

基于此,斯坦福团队开发了一个全栈系统,用于人形机器人从人类数据中学习运动和自主技能。该研究首先基于40小时的人体运动数据集,通过强化学习在模拟环境中训练低级策略。然后将这一策略迁移到现实世界中,从而允许人形机器人仅使用 RGB 相机实时跟踪人体和手部运动,称为 Shadowing 系统。

通过 Shadowing,人类操作员可以远程操作人形机器人来收集全身数据,以便在现实世界中学习不同的任务。基于收集到的数据,随后进行有监督的行为克隆,使用以自我为中心的视角来训练机器人的技能策略,使人形机器人能够通过模仿人类的技能自主完成不同任务。

研究者在定制的33自由度、高180cm 的人形机器人上演示了该系统,通过多达40次演示,该系统可以自主完成诸如穿鞋站立和行走,从仓库货架上卸载物品,折叠运动衫,重新排列物品,打字以及与另一个机器人打招呼等任务,成功率为60-100%。

该研究团队发布的机器人如图2左侧所示,具有33个自由度,其中包括两个拥有6自由度的手指、两个1自由度的手腕和一个有19自由度的身体(包含:两个4自由度的手臂、两个5自由度的腿和一个1自由度的腰部)。

该系统基于 Unitree H1机器人构建,每只手臂集成了 Inspire-Robots RH56DFX Hand,通过定制手腕连接,其中每个手腕配有一个 Dynamixel 伺服电机和两个推力轴承。手和手腕均通过串行通信控制。

机器人头部安装了两个 RGB 网络摄像头(Razer Kiyo Pro),向下倾斜50度,瞳距为160毫米。手指可以施加高达10牛顿的力,而手臂可以举起重达7.5公斤的物品。腿部的电机在操作过程中可以产生高达360Nm 的瞬时扭矩。图2右侧提供了该机器人的其他技术规格信息。

人体部分和手部动作使用 SMPL-X 模型进行参数化。为了重定向身体姿态,研究人员将 SMPL-X 对应的欧拉角复制到类人模型中,即髋部、膝盖、脚踝、躯干、肩膀和肘部。机器人的每个髋部和肩部关节由3个正交旋转关节组成,因此可以视为一个球形关节。机器人的手指有6个自由度:每个食指、中指、无名指和小指各1个自由度,大拇指2个自由度。为了重定向手部姿势,他们使用中间关节的旋转来映射每个手指的对应欧拉角。并且通过使用前臂和手的全局方向之间的相对旋转,计算1自由度的手腕角度。

如图3所示,身体姿势估计和重定向在 NVIDIA RTX4090GPU 上以每秒25帧的速度运行。

实时手部姿势估计和重定向:该团队使用 HaMeR——一个基于 Transformer 的手部姿态估计器,通过单个 RGB 摄像头进行实时手部姿态估计。手部姿势估计和重定向在 NVIDIA RTX4090GPU 上以每秒10帧的速度运行。

该研究将低级策略 Humanoid Shadowing Transformer 制定为仅解码器的 Transformer,如图4左侧所示。

在每个时间步中,策略的输入是人形机器人的本体感知和目标姿态。策略的输出是人形机器人身体关节的19维关节位置设定点,这些设定点随后通过1000Hz 的 PD 控制器转换为扭矩。

随机化模拟环境和人形机器人的物理参数见表2。

如图3所示,研究者使用单个 RGB 摄像头实时估计人体和手部姿态,并将人体姿态重定向为类人目标姿态。

如图1所示,人类操作员站在人形机器人附近,将他们的实时全身运动投射到人形机器人上,并使用视线观察人形机器人的环境和行为,确保远程操作系统反应灵敏。

在被远程操作时,人形机器人通过双目 RGB 摄像头收集第一视角视觉数据。通过 shadowing,研究人员为各种现实场景任务提供了一条高效的数据收集管道,从而避免了模拟环境中真实 RGB 渲染、精确软体对象模拟和多样化任务规范的挑战。

与其他远程操作方法相比,Shadowing 系统更具优势。

0000
评论列表
共(0)条