MathVerse:全方位可视化数学基准,对多模态大型语言模型进行公平和深入的评估
划重点:
🔍 MLLMs在视觉情境下的表现异常出色,但解决视觉数学问题的能力仍需全面评估和理解。
🔍 MATHVERSE提出了一个创新性的基准,旨在严格评估MLLMs在解释数学问题中的视觉信息理解能力。
🔍 研究发现大多数现有模型需要视觉输入来理解数学图表,甚至可能表现更好,这表明需要更先进的数学专用视觉编码器。
多模态大型语言模型(MLLMs)在视觉情境下的表现异常出色,引起了广泛关注。然而,它们解决视觉数学问题的能力仍需全面评估和理解。数学常常在理解复杂概念和解释解决问题所需的视觉信息方面存在挑战。在教育和其他领域中,解读图表和插图变得至关重要,尤其是在解决数学问题时。
GeoQA和MathVista等框架试图弥合文本内容与视觉解释之间的差距,专注于几何查询和更广泛的数学概念。这些模型,包括SPHINX和GPT-4V,旨在通过解决各种挑战,从几何问题解决到理解复杂图表,来增强多模态理解能力。尽管它们取得了进展,但在数学推理的文本分析与准确视觉解释之间实现无缝整合的全面方法仍然是一个尚未完全征服的前沿领域。
来自香港中文大学多媒体实验室和上海人工智能实验室的研究团队提出了“MATHVERSE”,这是一个创新性的基准,旨在严格评估MLLMs在解释数学问题中的视觉信息理解能力。该方法引入了各种数学问题,其中包含图表,以测试模型在文本推理之外的理解能力。
MATHVERSE通过2612个数学问题与图表,挑战视觉数据处理。研究人员将这些问题精心调整为六种不同的格式,从以文本为主到仅以视觉为主,以解剖MLLMs的多模态分析技能。性能分析显示出不同的成功程度;当剥夺了视觉线索时,一些模型的准确性竟然提高了超过5%,暗示了对文本的更强依赖性。特别是,GPT-4V展示了在文本和视觉模态中的平衡熟练度,为当前MLLMs在处理视觉和数学查询方面的能力和局限性提供了全面的洞察。
对MATH VERSE的评估突出显示,像Qwen-VL-Max和InternLM-XComposer2这样的模型在没有视觉输入的情况下,性能有所提升(准确性增加超过5%),而GPT-4V在整合视觉信息方面表现更为熟练,在仅有文本的情况下几乎与人类水平相匹配。这种差异强调了MLLMs对文本而非视觉的依赖性,而GPT-4V则因其比较视觉理解而显著。
研究提出了一个名为MATHVERSE的专门基准,以评估MLLMs在视觉数学问题解决能力方面的能力。研究结果显示,大多数现有模型需要视觉输入才能理解数学图表,甚至可能表现更好。这表明需要更先进的数学专用视觉编码器,突显了MLLM发展的潜在未来方向。
产品入口:https://top.aibase.com/tool/mathverse
论文:https://arxiv.org/abs/2403.14624
AMD:专为边缘和嵌入式设备设计的芯片来解决人工智能应用还存在巨大机会
AMD首席执行官苏姿丰表示,尽管服务器和个人电脑芯片的销售继续放缓,但芯片设计商与客户在人工智能机会上的接触「显著」增加。AMD在截至7月1日的今年第二季度财报电话会议上,这位首席执行官披露了人工智能客户兴趣的势头,她称其为「广泛的投资组合」,包括领先的GPU、CPU和人工智能推理和训练的自适应计算解决方案。站长网2023-08-02 14:10:550000投资者担心美国大型科技公司人工智能进步的成本
据fagenwasanni消息,由于人工智能进步引起的热潮,主要科技公司微软公司、Alphabet公司和Meta平台公司的股票今年都有了显著的涨幅。然而,随着这些公司准备发布季度业绩,一些投资者现在开始质疑与这些AI发展相关的成本。这种担忧源于过去只要在财报电话会议中提到“AI”就能满足投资者的事实。然而,如果今年下半年或明年美国经济出现下滑,大型科技公司雄心勃勃的AI计划可能会受到影响。站长网2023-07-24 18:27:170000麒麟合盛APUS旗下AiLMe天燕大模型开放公测
麒麟合盛网络技术股份有限公司(APUS)发布的自研多模态人工智能大模型AiLMe(天燕大模型)开放公测。据悉,“AiLMe”于4月18日正式发布,AiLMe参数已达千亿规模,具备对文本、图像、视频、音频的理解和生成能力。站长网2023-06-08 07:06:200000Stability AI 发布最新 35 亿个参数的图像生成模型 Stable Diffusion XL 1.0
人工智能初创公司StabilityAI在面临日益激烈竞争和道德挑战的情况下,继续改进其生成式AI模型。站长网2023-07-27 10:12:250000微软高管套现440万美元股票 加入微软已有30年
另一位微软公司高管在股价近期强劲上涨后出售了股票。该公司首席营销官克里斯·卡波塞拉本周截至周三出售了价值285万美元的股票,此前他上周已经出售了价值155万美元的股份。卡波塞拉周二以308.705美元的平均价格出售了5000股微软的股票,周三以312.905美元的平均价格出售了另外4177股,根据周三提交给证券交易委员会的文件显示。站长网2023-05-12 11:32:260000