大模型「上车」关键一步:全球首个语言+自动驾驶全栈开源数据集来了
说到科技圈的近期新闻,没有比小马和小扎约架这件事更热闹的八卦话题了。
前几天,马斯克直播了自己上门寻找扎克伯格的过程。虽然最终无功而返,但小马显然 “醉翁之意不在酒”,而是想借机展示特斯拉最新的 FSD V12自动驾驶功能。
可就在小马得意洋洋的向观众介绍时,自动驾驶系统却出了状况,在一个路口时作出了错误的判断,逼得小马手动干预了驾驶。小马尴尬地表示要 “给网络喂更多的相关数据”。
可见强如特斯拉的 FSD v12,也存在处理复杂场景时决策推理能力不足的问题。这让人不禁想问,有没有什么办法能解决这一难题?
上海人工智能实验室 OpenDriveLab 认为,要解决这一难题,引入时下大热的大模型可能是一个解决方案。
DriveLM | 动机
大模型已经在自然语言处理问题上证明了自己的威力。然而要想让它大显神威,海量数据必不可少。在自动驾驶领域,通过量产车大规模采集数据来支持自动驾驶系统的想法尚停留在建设阶段,各家车厂间的竞争也使得数据集的开源共享变得不切实际。
但如果换一个角度思考,大语言模型中的推理范式和常识在现实世界是通用的。如果能利用起现有的成熟大语言模型和海量语料数据库,再加上CoT(Chain of Thought)、GoT (Graph of Thougtht)等推理 Prompt 技术,站上巨人的肩膀,就可以让自动驾驶系统应对复杂状况的能力更上一层楼。
据此,上海人工智能实验室 OpenDriveLab、德国图宾根大学 Autonomous Vision Group、德国图宾根 AI Center 联合推出了世界首个语言 自动驾驶全栈开源数据集——DriveLM,旨在借助大语言模型和海量自然语言数据集,构筑复杂场景下安全、精准、可解释的自动驾驶系统,突破现有自动驾驶推理能力上限。
同时,DriveLM 也是 OpenDriveLab 提出的 DriveAGI 的重要组成部分。OpenDriveLab 之后将围绕 DriveLM 举办一系列语言 自动驾驶竞赛,以推动自然语言处理领域和自动驾驶领域的交流与技术交叉进步。
OpenDriveLab 提出的 DriveAGI 总体框架
不过今天,机器之心先带大家一起来看看这个融合语言信息的自动驾驶数据集是如何在大语言模型和自动驾驶系统之间搭建起桥梁,让大语言模型帮助自动驾驶系统获得更强大的、可解释的推理能力的。
Repository:https://github.com/OpenDriveLab/DriveLM
Page:https://opendrivelab.github.io/DriveLM
Hugging Face:https://huggingface.co/datasets/OpenDrive/DriveLM
DriveLM | 特点
结构化推理与思维图评测
DriveLM 提供了量化的推理能力评估标准,改变了模型的结构化推理(Structured-reasoning)或思维图(Graph of Thoughts)能力难以量化评估的现状。如下图所示,DriveLM 提供了从物体识别、物体运动状态判断到物体未来运动轨迹预测、自车运动规划的完整逻辑链条,确保了整个决策过程中每一步的合理性和可解释性。
全栈数据覆盖
DriveLM 的标注覆盖了自动驾驶系统中的感知(perception)、预测(prediction)、规划(planning)等模块,为整个自动驾驶系统提供了全栈式的语言标注数据。
假设推理
DriveLM 的标注中包含了基于假设进行推理的内容("What if..."),这有助于训练模型对尚未发生的未来事件进行预判。
驾驶目标分解
DriveLM 提供了场景级别的全局驾驶目标描述和对应的帧级别的驾驶目标描述,引入了驾驶目标分解任务。通过将复杂的宏观驾驶任务分解为更具体、更简单的子任务,让自动驾驶系统学会应对更复杂多变的交通环境。
DriveLM | 数据与标注
DriveLM 标注中不同类别问题的分布情况
DriveLM 是一个基于 nuScenes 自动驾驶数据集构建的、以关键帧描述 问答对(Description Q&A)为核心的数据集。
数据集中的问答对主要可以分为三类:感知(Perception)、预测(Prediction)和规划(Planning)。感知部分着重于询问物体相对自车的位置或运动状态;预测部分询问车辆或行人的未来可能行为和状态;规划部分询问自车可以采取的行动。
整个数据集分为训练集和验证集两部分,训练集共包含697个场景,验证集包含150个场景。每个场景包含大约40帧(采样频率约为2赫兹),标注员会在其中选择4-8个关键帧进行标注。
想要了解数据集的更多细节,请参考 OpenDriveLab 发布在 Github 上的 DriveLM 演示数据。
电商包邮背后隐藏的小心思
一个小小的调查,线上购物时,包邮与否会成为你下单的决策因素吗?大部分时候,包邮也就是免配送费,会降低用户下单的心理障碍。不然,京东不会大张旗鼓地宣布将自营频道的单笔包邮金额从此前的99元降至59元。站长网2023-09-23 10:19:230000卢伟冰:小米汽车首批 2S 门店已在装修中
小米集团合伙人、总裁,国际部总裁卢伟冰在微博上宣布,首批小米汽车销售服务合作伙伴已经签约,并且首批2S门店正在装修中,将如期为汽车用户提供Sales&Service等服务。卢伟冰在1月2日的微博中透露,小米集团已于2023年12月29日与首批14家销服合作商在北京总部正式签订合作意向书。这标志着小米汽车销售服务渠道建设的全面提速,小米汽车新零售模式从规划阶段进入实质落地阶段。站长网2024-01-16 06:31:510000微软承诺基于 ChatGPT-4 的 Bing AI 将保持免费
OpenAI、微软、谷歌和许多初创公司都推出了他们的聊天机器人,其中有些在某些领域比其他机器人表现更好。虽然OpenAI的ChatGPT-4是付费订阅,但微软的必应(Bing)也基于GPT-4,是免费提供的。微软在一份声明中重申其对「免费必应AI」的承诺。站长网2023-07-24 11:44:280006印度决定对在线游戏征收28%税金 相关游戏公司股价暴跌
据BBC报道,印度政府决定对网络游戏征收28%的税,专家们说,这对这个蓬勃发展的行业构成了“生存威胁”,可能会敲响它的丧钟。在商品和服务税(GST)委员会做出决定后,印度在线游戏平台和赌场的股价暴跌。该国900多家游戏初创公司之前只需为提供游戏的费用支付少量税款。但是,对游戏交易的全额征收28%的GST意味着从玩家那里收取的全部金额现在都将纳入征税范围。站长网2023-07-15 11:18:520000AI 虚拟代理将取代搜索引擎 专家:到2026年搜索量将下降25%
据权威机构Gartner公司预测,到2026年,传统搜索引擎的数量将会下降25%,而AI聊天机器人和其他虚拟代理将夺走搜索营销的市场份额。Gartner公司的副总裁分析师AlanAntin指出,自然搜索和付费搜索一直是技术营销人员重要的渠道,但随着生成式人工智能(GenAI)解决方案的崛起,这一局面即将发生改变。站长网2024-02-20 10:03:090000