研究人员推新AI框架CyberDemo:通过视觉观察让机器人模仿学习
划重点:
- 🤖 CyberDemo 是一个新颖的框架,利用模拟人类示范来进行现实世界的机器人操纵任务。
- 📊 与传统方法相比,CyberDemo 在各种操作任务中表现出更高的成功率,尤其在处理未见过的物体时表现突出。
- 🌐 CyberDemo 的方法挑战了人们对解决实际问题必须依赖真实示范数据的信念,展示了模拟数据的潜力。
加利福尼亚大学圣地亚哥分校(UCSD)和南加利福尼亚大学(USC)的研究人员最近推出了一种名为 CyberDemo 的新型人工智能框架,旨在通过视觉观察进行机器人模仿学习。
传统的模仿学习方法通常需要大量高质量的示范数据来教导机器人完成复杂任务,特别是对于需要高度灵巧的任务来说。然而,CyberDemo 通过利用模拟人类示范来完成真实世界的机器人操纵任务,从而减少了对物理硬件的需求,使得远程和并行数据收集成为可能。此外,通过模拟器专属的数据增强技术,CyberDemo 显著增强了任务性能,生成的数据集比在真实世界环境中收集的数据集大得多。
CyberDemo 的方法从在模拟环境中使用低成本设备进行远程操作收集人类示范开始。随后,通过广泛的增强方法对数据进行丰富处理,包括各种视觉和物理条件,以提高训练策略对真实世界变化的鲁棒性。该框架采用课程学习策略进行策略训练,首先使用增强数据集,然后逐渐引入真实世界示范以对策略进行微调。与使用真实世界示范数据微调的预训练策略相比,这种方法确保了平稳的从模拟到现实的过渡,解决了光照、物体几何和初始姿势变化等问题,而无需额外的示范。
在各种操纵任务中,CyberDemo 的性能令人印象深刻。相比传统方法,CyberDemo 在任务成功率上取得了显著提高。尤其值得注意的是,在涉及未见过的物体时,CyberDemo 的泛化能力特别突出,在旋转新物体的成功率达到42.5%,这是传统方法表现的显著飞跃。对比基线包括先进的视觉预训练模型如 PVR、MVP 和 R3M,CyberDemo 的成功之处突显了其效率和稳健性,以及其能够胜过在真实世界示范数据集上微调的模型。
CyberDemo 的创新方法通过利用增强的模拟数据挑战了解决实际问题必须依赖真实示范数据的传统观念。通过 CyberDemo 的性能所展示的经验数据,突显了通过数据增强增强的模拟数据在机器人操纵任务的价值方面能够超越真实世界数据。虽然为每个任务设计模拟环境需要额外的工作,但减少了数据收集的人为干预,并避免了复杂的奖励设计过程,为机器人操纵领域带来了一种可扩展且高效的解决方案。
论文地址https://arxiv.org/abs/2402.14795
项目地址:https://top.aibase.com/tool/cyberdemo
我在TikTok上卖车给老外,三个月入账2000万
抱着“反正亏不了多少钱”的心态,安岚(化名)在TikTok上试着把中国汽车卖给老外。短短一个季度,她就拿下了2000万元的营收,而投入仅2000元左右。在此之前,她从未有过任何销售工作经验。去年8月初,安岚带着一身的疲惫从某互联网大厂裸辞,“想躺一段时间”。但一条新闻让她打消了休息的念头:2023年上半年,中国汽车出口量同比增超70%。“我一直以为,中国汽车在国外卖不动的。”站长网2024-03-14 14:05:270000苹果最新研究:将有限内存推理速度提高25倍
近年来,大型语言模型(LLMs)在自然语言处理任务中表现卓越,但其对计算和内存的高需求对于内存有限的设备构成了挑战。本文提出了一种在设备内存有限的情况下,通过将模型参数存储在闪存中,并在推断时按需将其加载到DRAM,实现了高效运行LLMs的方法。论文地址:https://arxiv.org/pdf/2312.11514.pdf站长网2023-12-21 11:04:570000高通和微软合作构建 Snapdragon 计算平台上的生成式人工智能
在MicrosoftBuild2023活动中,高通技术公司展示了其在设备上人工智能方面的最新创新,包括在Snapdragon计算平台上运行生成式人工智能,并为在搭载Snapdragon的Windows11PC上构建应用程序的开发者提供新的路径。站长网2023-05-24 15:55:580000微软的 AI 助力使其云业务在最新季度超越竞争对手亚马逊和谷歌
站长之家(ChinaZ.com)10月28日消息:在云计算市场的激烈竞争中,微软成功超越了其主要竞争对手。在大多数大型科技公司发布第三季度财报的一周后,微软在云服务方面报告了Azure的29%的增长。这一增长速度快于谷歌云的22%,且是亚马逊AWS12%增长速度的两倍以上。站长网2023-10-28 13:01:470000LangChain 的 LLM 应用开发平台LangSmith正式开放
LangChain的LLM应用开发平台LangSmith正式开放给了所有人使用,同时宣布获得了Sequoia领投的A轮融资。LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它是LangChain的重要组成部分,为用户提供了从原型到生产的一体化开发体验。官网地址:https://top.aibase.com/tool/langsmith站长网2024-02-18 11:00:000001