GPT-4V都考不过?基于大学水平考试的多模态AI测试基准MMMUs发布
要点:
最新基准数据集MMMUs针对大学水平多学科问题提供了全面的多模态AI测试,挑战了当前最强大的GPT-4V等模型,展现了其在深度和广度方面的性能。
MMMU包含六个学科的30个科目,涉及艺术与设计、商科、科学、健康与医学、人文与社会科学、技术与工程等领域,共有1.15万个多模态问题,考察了感知、知识和推理等基本技能,为评估专家级AGI提供了全面而复杂的任务。
MMMU在问题设计上注重深度,包含专业领域知识和高级推理,通过涵盖多种图像格式和混合文本图像输入,要求AI模型在理解、记忆、推理等方面具备高级能力,挑战了当前多模态基准的局限性。
近日,一项基于大学水平考试的多模态AI测试基准MMMUs发布,旨在评估机器在广泛多样的任务上的专家级多模态理解和推理能力。这一基准对当前最先进的GPT-4V等模型提出挑战,通过涵盖艺术与设计、商科、科学、健康与医学、人文与社会科学、技术与工程等六个学科的30个科目,共有1.15万个问题,考察了感知、知识和推理等基本技能。
论文地址:https://arxiv.org/abs/2311.16502
项目网站:https://mmmu-benchmark.github.io/
数据集:https://huggingface.co/datasets/MMMU/MMMU
代码:https://github.com/MMMU-Benchmark/MMMU
MMMUs的问题涵盖了大学考试、测验和教科书,由50位来自不同学科的大学生收集,涉及了多种图像格式,从照片和绘画到图表和表格。这使得该基准不仅考察了常识和日常知识,还注重专业领域知识和高级推理。此外,MMMUs具有文本和图像混合的输入,要求AI模型在处理这种混合信息时展现深度学科知识和执行复杂推理的能力。
在实验评估中,MMMUs展现出极大的难度,即使是当前最先进的GPT-4V也仅在55.7%的问题上取得准确答案,表明AI技术在这一领域仍有巨大的改进空间。通过这一基准的构建和评估,研究团队为进一步推动人工智能系统的发展和深入研究提供了有力的工具和参考。
总体而言,MMMUs作为一项全面、具有挑战性的多模态AI测试基准,为评估专家级AGI的发展提供了新的视角和标准。这将有助于推动人工智能领域的发展,引领未来人工智能系统在多学科、多模态任务上取得更为卓越的成就。
淘宝,多了一个“ChatGPT”入口
电商,正在悄然切换,进入AI时代。现在打开淘宝,搜索“淘宝问问”,你可以直接跳转到一个全新的页面。在这个新的页面输入你的问题,可以获得内容回复,包括商品挑选攻略、生活经验百科、外出行程建议等——使用体验类似电商版“ChatGPT”,区别在于,答案中会附上相应的淘宝商品链接。站长网2023-10-07 15:35:350000我,一个虚拟人,自然流量直播卖了8万多,居然不是在抖音淘宝
电影《天下无贼》里,演员葛优说过一句经典台词:“二十一世纪什么最贵?人才!”今天,当直播渗透到电商和本地生活领域,许多中小商家对此深有同感。在三四五线城市,招聘带货主播成了商家的普遍痛点,好主播非常稀缺,而且流动性极强。一位南康家具产业带的老板,曾组建起一个抖音直播团队,主播都很年轻,刚学会就全跑掉了。“刚好起来了,他就提要求加工资,或者被别的地方挖走。”站长网2023-08-15 17:54:210002LLM是世界模型的新证据?ChatGPT能理解WiFi等物理信号,并猜出你的位置
大语言模型是否是世界模型?大语言模型除了在数字世界完成如写作或翻译等任务,它们能否理解并处理物理世界中的信息并进而完成更广泛的任务呢?最近来自香港科技大学(HKUST)、南洋理工大学(NTU)与加利福尼亚大学洛杉矶分校(UCLA)的研究者们提供了新的思路:他们发现大语言模型如ChatGPT可以理解传感器信号进而完成物理世界中的任务。该项目初步成果发表于ACMHotMobile2024。站长网2024-02-13 11:00:360000抖音回应进军基金销售:目前没有申请基金销售牌照
据中国基金报报道,近期抖音联合部分头部基金公司进行了基金销售的相关测试,并且与一些公司共同探讨未来基于抖音生态开展基金销售的业务模式。抖音已经做好基金销售前期准备工作,静待业务资格正式获批。具体代销业务开展而言,抖音入局基金销售的第一步便是牵手基金公司旗下货币基金,后续再逐渐扩展到非货代销业务领域。针对上述消息,对此,抖音集团回应称,目前没有申请基金销售牌照,也没有和基金公司进行测试。站长网2023-07-20 11:07:540000京东618来了!将于5月23日晚8点开启预售
今日,京东宣布,京东618将于5月23日晚8点正式开启预售,并将于5月31日晚8点正式开售,活动将持续到6月20日23:59:59点,满减力度为满299减50。据了解,在618前夕,京东上线了“单件到手价”功能,在京东APP搜索商品后,将直接展示购买单件商品优惠后的价格。同款商品中,有价格竞争力的商家会获得更多的流量倾向。站长网2023-05-22 14:46:470000