北大全新「机械手」算法:辅助花式抓杯子,GTX 1650实现150fps推断|NeurIPS 2023
手是人类与世界交互的重要部分,手的缺失(如上肢残障)会大大影响人类的正常生活。

北京大学董豪团队通过将扩散模型和强化学习结合,使机械手能根据人手腕部的移动轨迹,自适应的抓取物体的不同部位,满足人类多样化的抓取需求,目前该工作已被NeurIPS2023接收。

论文地址:https://arxiv.org/abs/2309.06038
项目主页:https://sites.google.com/view/graspgf
有了这个机械手,只要动动手腕,机械手就能按照人类想要的方式抓起物体,比如抓取杯身和杯壁。


由于人类行为的复杂与多变性和真实世界物体的多样性,仅仅根据人手腕部的移动轨迹来不断预测人类想法是一件非常困难的事情。

新方法真正实现了灵巧的抓取,能在真实世界中对于不同的物体,不同的抓取姿态,不同的抓取轨迹进行泛化。

机械手如何明白人类的想法?
北大董豪团队提出将人类的想法分解成两个部分:
1. 如何抓: 考虑到人类和物体当前的相对姿势,机械手应该如何抓取物体?
2. 何时抓: 机械手应该根据用户历史运动轨在何时、以什么速度执行抓取动作?
如何抓?

首先,如上图所示,新方法将学习人类想要「如何抓取物体」,定义为从一个包含各种抓取姿态的数据集中,学习抓取梯度场Grasping Gradient Field(GraspGF)。
基于当前人手腕部和物体的相对关系,GraspGF会输出一个梯度,这个梯度代表最快提高「抓取可能性」的方向。这个梯度可以转化为对每个手指关节的原始控制,使手指能够通过不断迭代达到适当的抓取姿态。
这样的梯度场可以随着人手腕部和物体的关系的变化,而不断的输出新的梯度指示当前人类的抓取意图,即意向抓取的物体区域及抓取姿态。

GraspGF随着手腕的旋转,不断调整抓取姿态
何时抓?

GraspGF的动作会导致提前合拢
然而,只知道「如何抓」并不够完备,如果不知道要「何时抓」(如上图所示),虽然最终的抓取姿态是合理的,但是在达到抓取姿态的过程中会和物体发生碰撞。

如上所示,为了解决「何时抓取」的问题,新方法还训练了一个基于强化学习的残差策略,它首先会输出一个「缩放动作」,根据手腕轨迹的历史,决定手指关节应该以多快的速度沿着原始动作的方向移动。
此外,因为原始策略是基于最终抓取姿态数据集离线训练得到的,原始策略并不了解环境的物理约束 ,残差策略还会输出一个「残差动作」来进一步校正原始动作。
通过结合残差策略,模型能够通过残差策略学习到的「何时抓」更好地实现原始策略学习到的「如何抓」。
简单的奖励函数

该方法在奖励函数的设置上不需要过多的human design,因为原始动作已经提供了一个比较好的「如何抓」的引导,在训练强化学习模型时,除了给定成功抓取和抓取后的高度变化奖励,仅仅只需要一个奖励函数去鼓励机械手跟随原始动作即可。
该方法的优势
该方法仅需要成功抓取的抓取姿态数据集用于训练,与需要专家演示的方法相比,不需要大量的人工标注或者工程工作。
GraspGF借助了扩散模型强大的条件生成建模能力,这使它能够根据新颖的用户意图输出有效的原始动作。
残差学习的设计改善了强化学习探索效率低下的问题,提升了强化学习模型在未见过物体和轨迹上的泛化能力。
结果
最终在4900多个物体,200条不同的人类移动轨迹上,新方法都优于基准。

该方法的最终的抓取姿态相比于基线更符合人类的抓取意图。

此外,该方法在抓取过程中对物体造成的扰动要小于其他基准。

经过测试,该模型在GTX1650的显卡上,能达到150fps的推断速度,能做到与人类的实时交互,也许未来能真正用于辅助手部缺失的人更好地进行日常生活。
本次研究的通讯作者董豪是北京大学的助理教授、博导、博雅青年学者、智源学者,其创立并领导北大超平面实验室(Hyperplane Lab)。
董老师在NeurIPS、ICLR、CVPR、ICCV、ECCV、ICRA、IROS等国际顶尖会议/期刊上发表论文40余篇,Google Scholar引用4700余次,多次担任国际顶尖会议如NeurIPS、CVPR、AAAI、ICRA的领域主席和副编委。
其领导了多个开源项目,例如TensorLayer和OpenMLsys,出版书籍获得15万次下载,开源软件获得上万Github Star,获ACM Multimedia 最佳开源软件奖、OpenI杰出项目奖。
论文一作吴天昊,现为北京大学博士生,导师为董豪老师,研究方向为灵巧手操纵算法。
短篇作者为何能在UC故事会月入过万
UC故事会的内容机制和平台策略,帮助很多作者都实现了月入过万的小目标,也让他们在这里找到了更多人生新的可能。短篇作者叙白这个月几乎没更新,但今年3月在UC故事会发布的短篇还在为她贡献着每月一两万的收益。UC故事会是UC浏览器小说频道的重要品类之一,其中有海量的独家短篇小说。这种短篇故事在内容上沿袭了传统网文的经典类型,但篇幅更短,节奏更紧凑,10分钟左右就能读完一篇完整内容,深受用户喜爱。0000网易今年最大爆款背后,功劳少不了他们
上周,《蛋仔派对》迎来了它的一岁生日,并在重庆举办了首届创作者大会。说实话,自从今年线下活动恢复以来,葡萄君几乎每周都在经历各种跑会,已经到了有点身心俱疲,看啥都麻的状态。但《蛋仔派对》这场活动却给我留下了很深的印象。站长网2023-06-22 01:58:480000重磅!OpenAI将发布DALL·E 3,多模态ChatGPT来了!
9月21日凌晨,OpenAI在官网宣布,在今年10月份将通过API向ChatGPTPlus和企业版用户提供全新文本生成图片产品——DALL·E3。这意味着,ChatGPT在DALL·E3加持下将开启久违的多模态输出模式,用户通过文本就能直接在ChatGPT中生成各种类型图片。站长网2023-09-21 08:59:450002巴菲特股东大会:面对 AI 没有选择 必须要去接受它、应对它、使用它
伯克希尔哈撒韦公司年度股东大会日前在奥马哈正式开幕,92岁的巴菲特及多年老搭档99岁的芒格与数万名股东,其中包括数千名中国投资人面对面交流。在近六个小时的问答环节中,回答了各界投资人48个问题,涉及宏观经济、地缘政治、银行业危机、企业经营、家族传承等方方面面。站长网2023-05-08 09:10:260000谷歌、CMU研究表明:语言模型通过使用良好的视觉tokenizer首次击败了扩散模型
要点:1.研究表明,在图像和视频生成领域,语言模型通过使用良好的视觉tokenizer首次击败了扩散模型,强调了tokenizer的重要性。2.传统大型语言模型(LLM)在图像生成方面一直落后于扩散模型,主要原因是缺乏有效的视觉表示。站长网2023-10-11 17:56:520000