新AI框架H2O:将人类动作实时转换为机器人动作 可行走、后空翻、踢球等
划重点:
1. 🔄 **框架介绍**:H2O(Human to Humanoid)是基于强化学习的框架,通过仅使用RGB摄像头实现了全尺寸人形机器人的实时全身遥控操作。
2. 🔄 **数据处理过程**:采用可扩展的“从模拟到实际”处理,通过特权模仿者筛选和选择可行的动作,构建了大规模的重定目标运动数据集。
3. 🔄 **实时遥操作实现**:在模拟环境中使用经过精炼的动作训练了鲁棒的全身机器人模仿者,并以零次试验方式将其转移到实际机器人,成功实现了在真实场景中的动态全身运动遥操作。
在最新的研究中,由卡内基梅隆大学的研究团队开发,提出了一种名为H2O(Human to Humanoid)的框架,通过强化学习实现了人对人形机器人的实时全身遥控操作。
该框架在仅使用RGB摄像头的条件下,成功地让人形机器人模仿并实时执行各种动态的全身运动,包括行走、后空翻、踢球、转身、挥手、推动、拳击等。
为了实现这一突破性的技术,研究团队提出了一种可扩展的“从模拟到实际”的处理过程,以构建大规模的人类运动数据集,为人形机器人提供实时遥操作的训练样本。在处理过程中,通过特权模仿者筛选和选择可行的动作,优化了人形机器人的身体模型,确保其对人类运动的高度还原性。
框架的核心包括三个关键阶段:首先,通过优化形状和运动参数,将SMPL(Skinned Multi-Person Linear model)身体模型与人形机器人的结构对齐,形成基础的运动数据集。其次,通过训练一个特权模仿策略,去除运动数据集中的异常和不可行的动作,生成更加真实和清晰的运动数据集。最后,通过在模拟环境中训练一个实时模仿策略,实现对人形机器人的零次试验遥操作。
实时遥操作的过程涉及使用RGB摄像头和姿势估计器捕捉人类运动,然后通过训练有素的模仿策略,使人形机器人能够即时模仿并执行这些运动。
这项研究不仅成功实现了全身运动的学习式实时遥操作,还展示了在真实世界情境中的应用,如左右踢球、递盒子、前行后跳、拳击等。据了解,这是首次在人形机器人领域实现了这一技术上的突破,为全新的人机交互和协作场景提供了有力的支持。
项目入口:https://top.aibase.com/tool/human-to-humanoid-h2o-
3D产品预览应用React Native 3d Store 线上购物更立体了
ReactNative3dStore是一款先进的ReactNative应用,旨在展示带有沉浸式3D预览的产品。它为用户提供了一种创新的方式来在购物前与产品互动。通过这个应用,用户可以从各个角度探索产品,深入了解其特点和外观。站长网2023-10-30 12:20:36000036岁身价553亿?腾讯网易米哈游等公司老板登上新财富榜单
今日(5月16日),新财富杂志公布了「2023新财富500富人」榜单。其中游戏及相关行业共有12位老板进入榜单,较去年减少4位,这四位分别来自冬海集团、世纪华通和昆仑万维。不仅今年游戏相关行业上榜人数减少,在榜老板们的财富值也基本呈下滑态势(文末有葡萄君整理的榜单排名)。站长网2023-05-17 09:03:020000GPT-5出世,需5万张H100!全球H100总需求43万张, 英伟达GPU陷短缺风暴
【新智元导读】GPT-5的训练,需要5万张H100加持。英伟达GPU已成为各大AI公司开发大模型的首选利器。然而,SamAltaman自曝GPU很缺,竟不希望太多人用ChatGPT。「谁将获得多少H100,何时获得H100,都是硅谷中最热门的话题。」OpenAI联合创始人兼职科学家AndrejKarpathy近日发文,阐述了自己对英伟达GPU短缺的看法。站长网2023-08-07 09:05:590000Swift 的主要推动者为 Mac 带来类似 Python 的全新 AI 编程语言
站长之家(ChinaZ.com)10月20日消息:ModularAI宣布其全新编程语言Mojo正式登陆Mac平台。这一编程语言是专门为AI开发人员设计的,由曾是苹果Swift编程语言的主要推动者ChrisLattner领导开发。Lattner在苹果期间曾参与开发Xcode,之后短暂加入特斯拉,然后于2017年加入GoogleBrainAI项目。站长网2023-10-20 17:48:430000先鹤岗后淄博,下一座年轻人捧红的城市会是谁?
“没人知道,淄博、鹤岗、大理之后,下一座突然爆红的城市会是谁。因为我们不知道年轻人怎么想的,也就无从知道他们会突然爱上哪座城市。”在某旅游平台的运营王蜻看来,现在年轻人喜欢上一座城市,可能并不是景色多优美,或者是气候多宜人,有时候就是一串烧烤,一栋便宜的房子,或者是一片海。站长网2023-05-09 14:00:150000