机器人又拿下一种家务:10小时学会煮咖啡,仅需观看人类演示视频
上周斯坦福炒虾机器人炸场之后,又火了一个煮咖啡机器人。
它的厉害之处在于通过观看人类的示范视频,仅需10小时端到端训练,就能学会并完全自主搞定这一任务。
当然,更准确地来说是操作咖啡机:
只见它打开机盖、放入咖啡包,再按下开始按钮,整个过程一气呵成,无需任何远程遥控。
很快,一杯咖啡就可以端走享用:
注意了,以上演示视频,没有任何加速处理。这就是该机器人目前可以达到的实际操作速度。
而除了这些,它还具备自主纠错功能:
如果咖啡包没有放正,不用人类提醒,它自己就能调整好。
对此,前谷歌DeepMind研究员(也是该机器人的开发人员)直接就是一个转发点赞,并再次强调:
所有行为包括纠错,完全自主。
公司创始人Brettt Adcock称,这就是机器人技术的ChatGPT时刻。
不管是不是每个人都赞同这个说法,但网友被它的训练速度所折服是没得说。
10个小时真的很优秀,快进到使用研磨机和法压壶,估计很快视频里个咖啡机也要失业了。(手动狗头)
所以,这个机器人具体什么来头?
10小时端到端训练搞定煮咖啡
如上这个机器人来自一家商业公司,名叫Figure。
Figure总部位于美国,成立于2022年,专攻通用人形机器人。
创始人Brett Adcock毕业于美国佛罗里达大学,26岁时创办了一家在线人才市场网站,后被同行1.1亿美元收购,然后又创办了一家生产全电动垂直起降飞机的航天公司,作家27亿美元上市。
如今,这家机器人公司Figure也可谓吸金无数,先是在去年5月拿到7000万美元A轮融资,两个月后又获得英特尔900万美元投资。
去年10月——大概成立一年之际,Figure发布首款人形机器人,代号Figure01。
它走起路来是这样的:
我们今天看到的煮咖啡演示则正是由它完成。
而学会这项技能,只花了它10个小时的训练时间——
Figure01采用的是端到端神经网络,这边接收人类煮咖啡的视频,那边就能输出动作轨迹,让机器人通过模仿,最终完成自主操作。
以此类推,让它学会别的任务,也只需要输入相应的视频即可。
至于具体实现细节,官方没有透露。
不过,抛去10小时就完成训练不谈,对于让机器人学会煮咖啡这类任务本身来说,已经不是一件难事儿了。
其核心就是模仿学习,入选CoRL’22(机器人,学习会议)的VIOLA可以做到(它是一个以对象为中心的模仿学习框架,基于Transformer进行推理,擅长长程任务,比最先进的模仿学习算法性能高出45.8%);
来自谷歌、今年6月发布的HYDRA,也专攻于此,擅长各种粗粒度和细粒度控制,并可自如切换。
来自斯坦福大学的AME,基于路点(Waypoint)实现,对于煮咖啡这种任务也毫不含糊,只不过速度慢很多。
还有英伟达的HITL-TAMP、MimicGen等研究成果,也就是机器人模仿学习相关,就不一一介绍了。
2040年前,谁能成功挑战史蒂夫咖啡测试?
尽管Figure01的表现很不错(比如速度就很快),但不少网友还是评价:
这和想象中的煮咖啡机器人还有一点距离。
比如它能不能拿起杯子、将其放到咖啡机下,沏完之后再添加奶油和糖,再将杯子放到托盘上,端到人面前?
事实上,苹果公司联合创始人Steve Wozniak曾提出一个评估机器人自主能力的咖啡测试。
它要求机器人从进入一个陌生的家中开始,然后找到厨房,识别工具(例如咖啡机、水壶)和材料(咖啡豆、糖、牛奶等),最终做好一杯咖啡,且全程不超过20分钟。
这个测试考验机器人在未知环境中导航、识别物体、操作工具和材料以及遵循人类命令等一系列能力。
有人发起过投票,问2040年之前能否有这样的机器人诞生?
结果有89%的人投了yes。
你认为有希望吗?
参考链接:
[1]https://twitter.com/Figure_robot/status/1743985067989352827
[2]https://twitter.com/Figure_robot
[3]https://manifold.markets/MatthewBarnett/will-a-robot-be-created-that-is-cap
Comfy Textures:用ComfyUI为虚幻引擎中的模型创建贴图
ComfyTextures是一个集成了编辑器的插件,它使用生成扩散模型来快速创建和优化场景纹理。该插件支持单视角和多视角纹理投影,以及远程ComfyUI实例支持和批量渲染功能(正在进行中)。它可以与UnrealEngine5.x配合使用,也可以通过少量代码更改与4.x配合使用。对于SDXL工作流程或运行ComfyUI,建议至少配置16GBVRAM和32GBRAM。站长网2024-01-29 10:36:170001何小鹏回应与大众汽车合作 期待大和小的携手
7月26日,大众汽车品牌与小鹏汽车签署技术框架协议。在合作的起步阶段,双方计划针对中国的中型车市场,共同打造两款大众汽车品牌的电动车型。这两款专为中国市场定制的新车将丰富基于MEB平台的产品线,并计划于2026年上市。站长网2023-07-27 09:59:090000硅心科技推出智能编程应用aiXcoder Europa 基于代码大模型打造
硅心科技推出全新智能化软件开发系统aiXcoderEuropa,聚焦解决代码大模型在企业落地中的难题。新版本新增了代码缺陷检测与修复、单元测试代码自动生成、代码注释自动生成和代码解释等多项功能,覆盖更多编码场景。aiXcoder已为多家企业提供智能化软件开发解决方案,并在私有化部署和个性化训练方面探索出一套成熟的方法论。站长网2023-08-19 15:25:330000魔兽世界,挤满搬砖的苦工
金币不分阵营,也不分高尚和龌龊木哥(化名)的微信头像是一个兽族苦工。这是魔兽的世界观中最低级的生物之一,战斗力低下,在游戏中的主要用途是砍伐、采集、搬运等单调重复的苦力活儿。0000SettleMint 的 AI 助手旨在帮助 web3 开发人员编写更好的智能合约
SettleMint是一个面向企业的低代码区块链编程工具,最近在其平台上添加了AI助手。该AI助手旨在帮助开发人员创建智能合约、集成数据并增强质量保证(QA)测试。人工智能可以帮助Draft智能合约,并解释每一行代码的作用。尽管数字货币价格暴跌,但这家成立七年的比利时公司的用户仍在稳步增长,因为越来越多的企业认识到区块链技术的好处,但缺乏将其想法变为现实的技术技能。站长网2023-08-03 14:47:530000