刺激,无人机竞速超越顶级人类玩家,强化学习再登Nature封面
最近,在一场无人机比赛中,一架自主控制的无人机战胜了顶级人类玩家。
这架自主控制无人机是由来自苏黎世大学的研究团队设计研发的 Swift 系统,研究成果登上了最新一期的《Nature》杂志封面。
研究内容:https://www.nature.com/articles/s41586-023-06419-4
在这场无人机比赛中,人类操纵者通过机载摄像机操纵无人机通过3D 赛道,这是为了让操纵者从无人机的视角观察环境。自主无人机要达到人类控制无人机的水平是非常具有挑战性的,因为无人机需要仅通过机载传感器估计其在赛道中的速度和位置。
而 Swift 战胜的是世界冠军级人类玩家,他们分别是:2019年无人机竞速联盟世界冠军 Alex Vanover、两届 MultiGP 国际公开赛冠军 Thomas Bitmatta 和三届瑞士全国冠军 Marvin Schaepper。
下图1a 是这次比赛的赛道,Swift 不仅赢得了与人类冠军的比赛,还创造了最快的比赛纪录。这项工作是移动机器人和机器智能领域的一个里程碑。
图1
下面我们就来看一下自主无人机 Swift 的技术方法。
Swift 技术介绍
Swift 是一个仅使用机载传感器和计算完成自主控制的四旋翼飞行器,由两个关键模块组成:
感知系统,将高维的视觉和惯性信息转换成低维表征;
控制策略,摄取感知系统产生的低维表征并产生控制命令。
其中,控制策略由一个前馈神经网络来表征,并使用无模型 on-policy 深度强化学习(RL)进行训练。
由于模拟与现实世界在传感和动力学方面存在差异,仅在模拟中优化策略会导致无人机的现实性能较差,因此研究团队利用物理系统收集的数据来估计非参数经验噪声模型(non-parametric empirical noise model)。实验表明,这些经验噪声模型有助于将控制策略从模拟成功转移到现实。
具体来说,Swift 将机载传感器的读数映射成控制命令,这一映射包括两部分:(1) 观察策略,将高维的视觉和惯性信息提炼成特定于任务的低维编码;(2) 控制策略,将编码转换成无人机命令。Swift 系统整体概览如下图2所示:
图2
如图1所示场景,Swift 的观察策略需要运行视觉 - 惯性估计器和门检测器。其中,门检测器是一个卷积神经网络,用于检测机载图像中的赛车门,然后使用检测到的门来估计无人机在赛道上的全局位置和飞行方向。这是使用相机后方交会算法(camera-resectioning algorithm),并结合赛道地图来完成的。最后,Swift 用卡尔曼滤波(Kalman filter)将全局姿态估计(从门检测器获得)与视觉 - 惯性估计结合起来,从而更准确地表征机器人的状态。
控制策略(用一个两层感知器表征),负责将卡尔曼滤波(Kalman filter)的输出映射成无人机控制命令。控制策略在模拟中使用无模型 on-policy 深度强化学习(RL)进行训练。在训练期间,该策略会考虑相机视野内下一个竞赛门的信息,将奖励最大化,以提高姿态估计的准确性。
实验及结果
为了评估 Swift 的性能,该研究进行了一系列的比赛实验,并与轨迹规划和模型预测控制(MPC)进行了比较。
如下图3b 所示,在与 A. Vanover 的9场比赛中,Swift 赢了5场;在与 T. Bitmatta 的7场比赛中,Swift 赢了4场;在与 M. Schaepper 的9场比赛中,Swift 赢了6场。在 Swift 记录的10次失利中,40% 是因为与对手相撞,40% 是因为与竞赛门相撞,20% 是因为比人类控制的无人机慢。总体而言,在与人类控制无人机进行的比赛中,Swift 获胜次数最多,并且它还创造了最快的比赛纪录,比人类控制无人机(A. Vanover)的最佳时间快了半秒。
图3
为了对 Swift 的性能进行更细致的分析,该研究比较了 Swift 和人类控制无人机的最快单圈飞行速度,结果如下图4和表1所示。
图4
表1
虽然从整体上看,Swift 比所有人类控制无人机都要快,但它在赛道的每个赛段上的速度并不快,如表1所示。
研究团队仔细分析发现:在起飞时,Swift 的反应时间较短,平均比人类飞行员早120毫秒起飞;Swift 的加速也更快,进入第一个竞赛门时速度更高。在急转弯时,如图4cd 所示,Swift 的动作更加紧凑。
研究团队还提出一种假设,Swift 在比人类操控者更长的时间尺度上优化轨迹。众所周知,无模型 RL 可以通过价值函数优化长期奖励(long-term reward)。相反,人类操控者规划运动的时间尺度较短,最多只能预测未来一个竞赛门。
OpenAI官宣Sam Altman回归担任CEO
OpenAI宣布,SamAltman正式回归OpenAI担任CEO,MiraMurati也将回到CTO职位。新的初始董事会将由BretTaylor(董事长)、LarrySummers和AdamD'Angelo组成。同时,Altman表达了对所有人的感谢,并表示对OpenAI实现使命的成功概率感到非常乐观。站长网2023-11-30 09:32:160000调查显示,仅10%企业在过去一年采用生成式AI解决方案
划重点:1.📊仅有10%的企业在过去一年中采用生成式AI解决方案,尽管存在显著改进的潜力。2.💡调查揭示,虽然存在采用生成式AI的犹豫,但已经采用的企业中有一半报告了客户体验改善、效率提高、产品能力升级和显著成本节省等多重好处。站长网2023-12-06 11:58:160000荣耀赵明:AI重构操作系统是未来的发展方向
荣耀昨晚发布了全新旗舰手机——Magic6系列,首次搭载MagicOS8.0系统。此次新机的一大亮点在于其AI性能的巨大提升。在发布会后的群访中,荣耀CEO赵明分享了公司对AI技术的深入理解和未来规划。站长网2024-01-12 17:10:120001当年轻人挤爆3.5分餐厅,餐饮APP还有必要采纳“打星制”吗?
“打星制”一直是餐饮APP中一种通用而直观的评价方式,它以简单的星级评分代表着用户对餐厅或菜品的整体满意度。然而,这种制度的有效性近来受到了挑战,越来越多的年轻人更愿意选择3.5-4.0分值间的店铺。站长网2024-01-29 09:20:040000研究发现:当使用饮食失调相关提示,AI可能生成 “有害” 内容
本文概要:1.研究发现,当使用与饮食失调相关的词汇作为提示时,AI模型会生成问题内容。2.谷歌的Bard等AI系统在41%的测试提示中生成了“有害的饮食失调内容”。3.AI图像生成器也会产生美化不切实际身材标准的图像,可能加剧饮食失调问题。站长网2023-08-15 17:07:140000