纽约大学和Meta研究人员推出Dobb-E:家庭机器人操作学习的开源通用框架
**划重点:**
1. 🚀 Dobb-E是一款高度适应性的系统,能够从用户演示中学习和适应,成功率达到81%。
2. 🏡 通过利用iPhone功能,研究团队构建了一个独特的家庭和第一人称机器人交互数据集,突显其在真实环境中的高效性。
3. 💡 Dobb-E的成功归功于简单而强大的方法,包括行为克隆和用于动作预测的两层神经网络。
纽约大学和Meta的研究团队最近推出了一款名为Dobb-E的开源机器人学习框架,旨在解决家庭环境中机器人操作学习的挑战。这一高度适应性的系统通过从用户演示中学习和适应,取得了显著的成功,其在陌生家庭环境中的成功率达到了81%。
研究团队强调了他们在家庭和第一人称机器人交互方面构建的独特数据集。通过充分利用iPhone的功能,该数据集提供了高质量的动作和稀有深度信息。相比于现有的自动化操作集中的表示模型,研究团队强调了面向通用表示的领域内预训练的重要性。为了进一步改进他们的研究,他们建议通过非机器人家庭视频的领域外信息来扩充他们的数据集。
研究团队提到了在创建全面的家庭助手方面的挑战,倡导从受控环境转向真实家庭。为了实现效率、安全和用户舒适度,他们引入了Dobb-E作为体现这些原则的框架。Dobb-E利用大规模数据和现代机器学习实现效率,利用人类演示确保安全,还使用人体工学工具提高用户舒适度。该框架集成了围绕Hello Robot Stretch的硬件、模型和算法。他们还讨论了纽约家庭数据集,该数据集包含来自22个家庭的多样化演示,以及用于视觉模型的自监督学习技术。
研究采用了行为克隆框架,这是模仿学习的一个子集,用于训练Dobb-E模仿人类或专业代理的行为。通过设计的硬件设置,演示可以无缝收集并传输到机器人实体,利用多样化的家庭数据,包括iPhone测距。基础模型在这些数据上进行了预训练。在实际家庭中对训练过的模型进行测试,包括视觉表示、所需演示、深度感知、演示者专业知识以及系统中参数化策略的必要性的消融实验。
Dobb-E是一款在各种家庭环境中测试的经济高效且多功能的机器人操作系统,成功率令人印象深刻达到81%。该系统的软件堆栈、模型、数据和硬件设计由Dobb-E团队慷慨地开源,以推动家庭机器人研究的发展,并促进机器人管家的广泛应用。Dobb-E的成功归功于其简单而强大的方法,包括行为克隆和用于动作预测的两层神经网络。实验还为照明条件和阴影影响任务执行的挑战提供了见解。
Dobb·E具有以下显著特色和功能:
1.109项任务覆盖: Dobb·E能够学习并执行109项家庭任务,使其具有广泛的应用领域。
2. 纽约市家庭数据集(HoNY): 通过Stick工具,Dobb·E构建了Homes of New York(HoNY)数据集,包含22个不同纽约城家庭的13小时交互数据。数据集中包括RGB和深度视频,以及6D握爪姿势和握爪张开角度的完整动作注释。
3. Stick工具: 为了解决家庭机器人领域中收集演示的难题,Dobb·E开发了Stick工具。这是一个使用25美元的Reacher-grabber stick、3D打印零件和iPhone构建的演示收集工具。
4. Home Pretrained Representations(HPR)模型: HPR是在HoNY数据集上预训练的模型,用于初始化在新环境中执行新任务的机器人策略。它采用了ResNet-34模型,使用MoCo-v3自监督学习目标进行训练。
5. 快速学习: Dobb·E声称在20分钟内学会新任务,且在新环境中的任务表现具有81%的平均成功率。
项目网址:https://dobb-e.com/
论文网址:https://arxiv.org/abs/2311.16098
重视隐私保护你会用吗?微信键盘更名微信输入法
快科技6月28日消息,去年12月,微信键盘1.0.0正式在Android、iOS平台上线,这是微信官方出品的中文输入法。今日,微信键盘iOS版本发布1.1.0版本更新,更新后支持发送颜文字、输入更多特殊符号、优化横屏下输入法体验、优化体验和问题修复。值得一提的是,更新后的微信键盘正式更名为微信输入法,命名算是同步了其它几家输入法,相比原来的微信键盘”,改成微信输入法更加直观。站长网2023-06-29 11:40:020000Windows “上云”后,Linux 有望“捡漏”成最大赢家?
“价格不菲”的Windows365今年,凭借OpenAI市值飞升的微软,无疑是AI行业的领军者。然而微软2023年第四财季财报,却揭示了其辉煌背后的危机:卖不动的Windows和硬件设备、“道阻且难”的AI商业化之路。站长网2023-08-10 17:24:030000硬刚安卓、iOS!华为鸿蒙OS 4.0开发者版来了:8款机型能升级
快科技6月25日消息,华为将于8月4日至8月6日在东莞松山湖举行第五届华为开发者大会2023(Together),不出意外,全新鸿蒙OS4.0系统将在大会上亮相。今日,从华为开发者官网获悉,鸿蒙OS4.0开发者Beta版第一期招募正式启动,提交报名信息后,需经过审核(审核周期为6-16工作日),是否成功报名最终以华为官方邮件(或短信)通知为准。站长网2023-06-26 23:41:280000蔚来发布2023年四季度及全年财报:全年营收556.2亿元再创历史新高
快科技3月5日消息,蔚来发布2023年四季度及全年财报。财报显示,蔚来2023年全年营收556.2亿元,同比增长12.9%,再创历史新高。全年交付160,038台,同比增长30.7%。其中,第四季度共交付50,045台,同比增长25%。全年研发投入134.3亿元,连续两年突破百亿元。第四季度研发费用39.7亿元,连续5个季度超30亿元。0000上海发布“元宇宙”关键技术攻关行动方案
近日,上海市科学技术委员会印发《上海市“元宇宙”关键技术攻关行动方案(2023—2025年)》的通知。明确聚焦沉浸式技术、Web3技术两大主攻方向,在沉浸影音、沉浸计算、新型显示、感知交互与区块链等关键技术领域打造新高地。站长网2023-06-15 03:53:100000