LeCun曝多模态LLM重大缺陷 提出Interleaved-MoF显著增强视觉理解能力
要点:
多模态大语言模型(MLLM)在视觉处理方面存在重大缺陷,特别是在处理视觉模式上的性能差距明显。
研究团队通过将DINOv2特征与CLIP特征结合的方法提升了多模态大模型的视觉功能,创造性地解决了视觉缺陷问题。
提出的「交错特征混合(Interleaved-MoF)」方法在MMVP基准中获得了10.7%的能力增强,显著提升了多模态大模型的视觉基础能力。
近期来自纽约大学和UC伯克利的研究团队在多模态大语言模型(MLLM)领域取得了重要突破,成功捕捉到了其在视觉理解方面存在的重大缺陷。研究人员发现,当前的MLLM在特定场景下,甚至在一些人类容易识别的图像问题上,表现不如随机猜测。这些问题包括对图像中朝向、状态、数量等基本要素的识别,显示了MLLM在视觉处理方面的局限性。
论文地址:https://arxiv.org/pdf/2401.06209.pdf
这项研究的关键发现是,MLLM的视觉缺陷主要源自「对比语言-图像预训练盲对(CLIP-blind pairs)」,即CLIP模型编码相似但在视觉上不同的图像,导致误导性的视觉嵌入。研究人员通过评估多个开源和闭源模型的性能发现,除少数模型外,大多数MLLM在视觉模式识别上都表现不佳,与人类视觉能力存在显著性能差距。
为解决这一问题,研究团队提出了「交错特征混合(Interleaved-MoF)」方法,将CLIP和DINOv2嵌入进行交错混合,成功提升了MLLM的视觉基础能力。实验证明,这种方法在MMVP基准中取得了10.7%的能力增强,而且不影响模型遵循指令的能力。通过此研究,对MLLM在视觉方面的性能提升打开了新的思路,为未来多模态AI技术的发展提供了有益的启示。
这项研究对于解决当前MLLM在视觉理解方面的缺陷问题具有重要意义。通过深入分析CLIP模型的视觉模式和MLLM性能之间的相关性,研究团队不仅提出了问题,还通过「交错特征混合」方法取得了实质性的改进。这不仅对AI领域的研究有着积极的推动作用,也为未来开发更强大、全面的多模态大模型奠定了基础。
顺丰抄起东方甄选作业
在顺丰即将赴港二次上市前夕,顺丰又又又尝试做电商了。8月1日晚,顺丰控股发布公告称,计划发行上市外资(H股)股票并申请在香港联合交易所有限公司主版挂牌上市,也就意味着2017年A股上市后,顺丰即将赴港二次上市。而就在上市前夕,顺丰速递小程序低调上线了直播带货业务,带货产品主要为生鲜水果等助农产品,主播和直播间均为自建团队搭建。站长网2023-08-05 09:51:500000微信、微博、抖音等100万粉丝以上自媒体将对外实名
昨日晚间,微信、微博、抖音、快手、百度、B站、知乎、小红书等同时发布公告,要求头部自媒体账号进行前台实名展示。上述平台表示,将分批次分阶段引导“粉丝”量50万以上的“自媒体”账号对外展示实名信息,近期将首先引导100万“粉丝”以上的“自媒体”账号对外展示实名信息。据悉,7月10日,网信办发布《关于加强“自媒体”管理的通知》称,要求强化“自媒体”的资质认证展示。站长网2023-11-01 08:19:060000研究发现,AI生成的推文可能比人工编写的更有说服力
最近,一项在一项将人类创作的内容与OpenAI公司的GPT-3模型生成的内容进行对比的研究中,当推特上发布的内容由AI语言模型编写时,适合更容易获得人们的信任。这项新研究对人们进行了调查,以了解他们是否能够分辨一条推文是由另一个人还是由GPT-3编写的。结果显示,人们实际上无法真正分辨出来。这项调查还要求他们判断每条推文中的信息是真实的还是虚假的。站长网2023-06-29 15:59:440000微信小游戏出现新爆款,居然出自一家棋牌大厂?
途游游戏可能度过了10年以来最好的一年。每次在iOS畅销榜上留意新品的时候,总会不自觉地忽略棋牌和捕鱼类游戏。它们总归不那么「游戏」,不太具备参考价值。然而不可置否的是,棋牌和捕鱼十分能挣钱,在途游游戏身上尤甚。根据SensorTower,途游游戏自2021年11月开始进入全球收入榜的TOP30,主要仅靠《捕鱼大作战》这一款游戏,同期这款产品排进了SensorTower国内收入榜的TOP20。站长网2023-06-06 16:24:460000哈佛做了一个重要的决定!AI导师将进入课程
最近,著名大学哈佛做了一个重要的决定:AI导师将进入课程,而且负责的还是计算机系的旗舰项目——计算机科学导论,也就是著名的CS50。该项目将于今年秋季学期就会正式启动,借助机器人导师,哈佛的CS50项目将拥有1:1的师生比。据了解,这款AI名为CS50bot,其核心是大语言模型(LLM)。其不但可以解答学生的疑惑,还可以提供代码debug、项目分析等服务。站长网2023-06-29 19:26:340001