扳回一局!Gemini-Pro多模态能力和GPT-4V不相上下
要点:
Gemini-Pro在多模态能力上与GPT-4V不相上下,尤其在多模态专有基准MME上表现出1933.4的高分,超过GPT-4V。
在37个视觉理解任务中,Gemini-Pro在文本翻译、颜色/地标/人物识别、OCR等任务中表现突出,而GPT-4V在名人识别任务上得分为0。
在高级认知、挑战性视觉任务和各种专家能力领域,Gemini-Pro展现了强大的视觉感知和理解能力,但在位置识别任务上表现都不佳。
近期的Gemini-Pro评测报告显示其在多模态领域取得了显著的进展,与GPT-4V不相上下,甚至在某些方面表现更为出色。首先,在多模态专有基准MME上的综合表现中,Gemini-Pro以1933.4的高分超越了GPT-4V,展现出在感知和认知方面的全面优势。而在37个视觉理解任务中,Gemini-Pro在文本翻译、颜色/地标/人物识别以及OCR等任务中表现突出,显示了其在基础感知领域的卓越能力。
论文地址:https://arxiv.org/pdf/2312.12436.pdf
项目地址:https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models
然而,评测也揭示了两者的差异。在名人识别任务上,GPT-4V的得分为0,主要因其拒绝回答相关问题。而在位置识别任务中,两者都呈现出不佳的表现,显示它们对空间位置信息的不敏感。此外,开源模型SPHINX在感知任务上与GPT-4V和Gemini平齐甚至更优,但在认知方面存在较大差距。
评测报告分为基础感知、高级认知、挑战性视觉任务和各种专家能力四大领域,对Gemini-Pro的视觉理解能力进行了详细评估。基础感知测试涵盖了对象级感知、场景级感知和基于知识的感知能力,其中Gemini-Pro在颜色/地标/人物识别和OCR等任务中的表现突出。
高级认知测试则涉及富含文本的视觉推理、抽象视觉推理、解决科学问题、情感分析和智力游戏等任务,显示Gemini-Pro在公式生成和抽象视觉刺激方面取得良好成绩。
挑战性视觉任务包括指称表达式理解、目标跟踪和视觉故事生成等,Gemini-Pro在这些任务中展现了深厚的视觉感知和理解能力。最后,各种专家能力测试涉及缺陷检测和经济分析等任务,Gemini-Pro在股价走势图的分析上显示了出色的专业知识。然而,评测也指出Gemini-Pro在一些任务上存在幻觉问题,需要进一步改进。
Gemini-Pro在多模态领域取得了令人瞩目的成就,展现了其在视觉理解能力上的强大潜力。然而,评测也突显了在特定任务和领域仍需进一步提升的空间。Gemini-Pro的表现表明了多模态技术的潜在威力,为未来的研究和应用提供了有益的启示。
快手规范“自媒体”发布涉灾情信息 处置6100余条不当内容
快手发布关于规范“自媒体”发布涉灾情信息行为的公告称,有少量账号为博取关注,通过翻炒、拼接旧闻,发布灾情相关不实信息;在救援现场摆拍,干扰正常救援秩序等恶劣炒作行为。站长网2023-08-07 17:39:430000BAT地图新战争:大模型、流量与生态重构
大模型犹如烽火,重新点燃了大厂旗下各个业务板块间的竞争热情。从阿里巴巴决策让全部产品融入通义千问大模型,到百度采用文心一言彻底重塑产品线,近期腾讯也披露其内部已有超过180个业务领域与混元大模型紧密结合——这标志着AI改造应用的全面普及。BAT不约而同地掀起自我AI进化的狂潮。随着业务版图再度注入新动能,相同领域的竞争之轮必定再次高速旋转。站长网2023-10-31 17:42:100001更新iOS17后位置服务自动开启?苹果称正调查部分用户诉求
据外媒报道,苹果正在调查部分iPhone用户报告称,更新iOS17后,其重要位置服务和iPhone分析选项被自动打开的问题。据悉,这两项功能原本在用户的“设置”中是关闭状态,但在更新系统后变为打开,且无需警告或征得用户同意。尽管看似大多数用户未受影响,但仍有用户表示这一变化令人担忧,因为打开这两项功能会泄露用户位置信息。苹果方面已证实,用户原有隐私设置不应在更新后改变,正积极调查此事。站长网2023-09-25 14:22:110000大模型管理平台LangTale 简化协作、提高AI团队效率
LangTale是一个强大的平台,旨在简化团队对大型语言模型提示的管理,实现更高效的协作和部署。该平台通过提供提示集成、变更管理、资源优化等功能,让非技术团队成员也可以无缝使用LLM。官网地址:https://langtale.ai/站长网2023-08-24 23:45:420001五一民宿涨价毁约被指吃相难看 多平台回应:承担最高3倍差价
4月24日消息,随着五一”假期的临近,有关民宿、酒店涨价、毁约的投诉也随之增长。此前有消费者吐槽,提前预定了五一民宿,结果民宿告知接待不了让自行退款,联系民宿管家后,对方居然很离谱的说自己辞职了,房东破产不干了。如此奇葩的借口,属实让计划旅游的消费者生气。人民网对民宿涨价、毁约一事还评论道:缺乏契约精神、吃相太难看”。据了解,今日有多家在线旅游平台发布回应称,将坚决保障消费者权益。0001