多模态模型再进化,已学会看图玩扑克、算“12点”
在科技领域,多模态模型的决策能力一直是研究的热点。最近,UC伯克利等高校的研究团队提出了一种名为RL4VLM的全新强化学习框架,成功地提升了多模态大模型在决策任务上的表现。该模型在无需人类反馈的情况下,通过强化学习微调,已经学会了看图玩扑克、算“12点”等任务,并且其表现超越了GPT-4v。
![](https://i.zz5.net/images/article/2024/06/04/174806266.png)
研究团队由多位重量级人物组成,包括图灵奖得主、Meta首席AI科学家、纽约大学教授LeCun,UC伯克利的Sergry Levine教授,以及香港大学数据科学学院院长、UC伯克利教授马毅等。他们的研究成果已经以论文预印本的形式发布,并且相关代码已在GitHub上开源。
RL4VLM的核心是一种新的算法框架,它直接使用强化学习方法对多模态大模型进行微调。这种方法的一个显著特点是,奖励信息直接来源于环境,不再依赖于人类反馈。这不仅提高了效率,也赋予了多模态模型自主决策的能力。
![](https://i.zz5.net/images/article/2024/06/04/174806281.png)
为了全面评估RL4VLM的效果,研究团队设计了两类评测任务。第一类任务主要测试模型利用图像中的细粒度视觉信息进行决策的能力,包括数字识别和逻辑推理。第二类任务则主要考察模型在具身智能环境中的视觉语义推理能力。
具体到任务,研究团队设计了数轴(Numberline)、简易12点(EZPoint)、24点(Point24)、21点(Blackjack)和ALFWorld等五个任务。其中,ALFWorld是微软等于2020年提出的开源具身智能任务集,而其他任务则是研究团队的原创设计。
实验结果令人鼓舞。经过强化学习微调的多模态模型,在决策问题上的表现不仅超过了商用模型GPT-4v,同时也超越了传统的监督微调方法。特别是在ALFWorld的具身智能任务中,RL4VLM模型取得了最高的平均分,尤其在单物体拾取任务上表现突出。
RL4VLM的工作流程是这样的:首先,系统将任务的当前状态以图片和文字描述的形式输入多模态大模型,并要求模型输出一段思维链,然后以文字形式输出要执行的动作。动作信息输入环境后,获得奖励值,该奖励值将用于强化学习训练。
为了适应RL训练框架,研究人员对模型的输入和输出进行了调整。具体来说,将任务图像和任务描述的文本合并后,直接作为当前任务的状态输入。在获得模型的文字输出后,将其转化为与环境交互的动作指令。
消融实验结果表明,使用思维链提示过程对任务成功率至关重要。这项研究不仅为多模态模型的性能提升提供了新的思路,也为未来人工智能的发展开辟了新的可能性。
论文地址:https://arxiv.org/abs/2405.10292
项目地址:https://top.aibase.com/tool/rl4vlm
解决 AI 价值观对齐问题的关键一步!国内首个大模型价值对齐数据集开源
近年来,人工智能的发展引起了人们对于价值观对齐的关注。为了解决AI和人类价值观不一致的问题,天猫精灵和通义大模型联合团队联合一些专家和机构,共同发起了这样一个开源大模型治理项目——「给AI的100瓶毒药」。站长网2023-07-15 01:58:5800013小米公布澎湃OS发版节奏公告 小米13、K60系列等已正式推送
据小米社区官微的最新消息,小米将于12月7日起,陆续为小米13、小米13Pro、RedmiK60Pro、RedmiK60以及小米平板6Max14这五款机型推送澎湃OS的正式版系统。另外,澎湃OS的开发版也正在适配过程中,预计本月将为RedmiK50系列、小米12系列等一批老机型推送。0000加州参议员提交法案,禁止政府与不道德的 AI 公司合作
划重点:-📝加州参议员提交了两项法案,旨在规范人工智能系统的使用,特别是州政府机构使用的系统。-📝第一项法案要求加州科技部门制定人工智能服务的安全、隐私和非歧视标准,并禁止州政府与不符合这些标准的供应商合作。-📝第二项法案将建立加州人工智能研究中心,为学者提供计算资源和数据。0000Rabbit R1 将从 Perplexity 的 AI“应答引擎”接收实时信息
在CES2024上,备受瞩目的宠儿Rabbit宣布与Perplexity展开合作,将其“对话式人工智能驱动的答案引擎”与TeenageEngineering设计的售价199美元的R1连接起来。R1已经在市场上预售50,000份订单,成为人工智能小工具领域的宠儿。站长网2024-01-19 09:18:180000微信:有零钱的账号不会被系统注销
日前,网上有传言称,微信号长期没有使用被注销,账号有200元钱被收走,对此腾讯官方作出了回应。腾讯微信团队微博发文表示,微信有零钱的微信号就不会被注销。不过微信方面强调,为保障用户的微信账号安全,注册后不活跃,长期未登录,并且没有零钱的微信账号,会被系统注销,无法使用。站长网2023-07-18 06:37:230000