超火迷你GPT-4视觉能力暴涨,GitHub两万星,华人团队出品
GPT-4V来做目标检测?网友实测:还没有准备好。
虽然检测到的类别没问题,但大多数边界框都错放了。
没关系,有人会出手!
那个抢跑GPT-4看图能力几个月的迷你GPT-4升级啦——MiniGPT-v2。
△(左边为GPT-4V生成,右边为MiniGPT-v2生成)
而且只是一句简单指令:[grounding] describe this image in detail就实现的结果。
不仅如此,还轻松处理各类视觉任务。
圈出一个物体,提示词前面加个 [identify] 可让模型直接识别出来物体的名字。
当然也可以什么都不加,直接问~
MiniGPT-v2由来自MiniGPT-4的原班人马(KAUST沙特阿卜杜拉国王科技大学)以及Meta的五位研究员共同开发。
上次MiniGPT-4刚出来就引发巨大关注,一时间服务器被挤爆,如今GItHub项目已超22000 星。
此番升级,已经有网友开始用上了~
多视觉任务的通用界面
大模型作为各文本应用的通用界面,大家已经司空见惯了。受此灵感,研究团队想要建立一个可用于多种视觉任务的统一界面,比如图像描述、视觉问题解答等。
「如何在单一模型的条件下,使用简单多模态指令来高效完成各类任务?」成为团队需要解决的难题。
简单来说,MiniGPT-v2由三个部分组成:视觉主干、线性层和大型语言模型。
该模型以ViT视觉主干为基础,所有训练阶段都保持不变。从ViT中归纳出四个相邻的视觉输出标记,并通过线性层将它们投影到 LLaMA-2语言模型空间中。
团队建议在训练模型为不同任务使用独特的标识符,这样一来大模型就能轻松分辨出每个任务指令,还能提高每个任务的学习效率。
训练主要分为三个阶段:预训练——多任务训练——多模式指令调整。
最终,MiniGPT-v2在许多视觉问题解答和视觉接地基准测试中,成绩都优于其他视觉语言通用模型。
最终这个模型可以完成多种视觉任务,比如目标对象描述、视觉定位、图像说明、视觉问题解答以及从给定的输入文本中直接解析图片对象。
感兴趣的朋友,可戳下方Demo链接体验:
https://minigpt-v2.github.io/
https://huggingface.co/spaces/Vision-CAIR/MiniGPT-v2
论文链接:https://arxiv.org/abs/2310.09478
GitHub链接:https://github.com/Vision-CAIR/MiniGPT-4
参考链接:https://twitter.com/leoyerrrr
—完—
苹果官网罕见大降价 华为回应苹果促销:称暂无促销计划
站长之家(ChinaZ.com)1月16日消息:近日,苹果中国官网宣布将在1月18日至21日期间进行“迎新春限时优惠”活动,其中iPhone15系列4款机型降价500元,部分笔记本电脑产品最高降价800元。这一举措引起了业界的广泛关注。然而,与苹果的降价策略不同,华为却表示目前暂无促销计划。在销售人员看来,华为手机目前一机难求,正常销售都供不应求,更别提降价促销了。站长网2024-01-16 10:55:490000Nvidia表示,新框架使Pandas在GPU上的运行速度快了150倍
划重点:-Nvidia的RAPIDScuDF框架的新版本可使Pandas在GPU上运行时性能提升150倍。-Pandas是一种广泛使用的Python数据框架,用于数据处理和分析,现在可在GPU上获得显著的性能提升。-新的Pandas加速模式允许未更改的Pandas代码在统一的CPU/GPU环境中运行,从而为数据科学家提供更快速的数据处理能力。站长网2023-11-09 10:01:090000谷歌 I/O 开发者大会5月14日举行 聚焦Gemini模型与Android15
谷歌宣布于5月14日在线举办2024年I/O开发者大会。与去年一样,主题演讲将通过网络直播形式进行,任何人都可以通过网络参与观看。站长网2024-03-15 10:35:580000小米首款!小米14Ultra有望支持双向卫星通信
据博主数码闲聊站的爆料,小米即将推出的旗舰手机小米14Ultra有望支持双向卫星通信,成为小米旗下首款支持卫星通信的旗舰手机。这种卫星通信功能在信号覆盖良好的地区可能并不常用,但在突发情况下,如地面信号突然消失或在没有信号覆盖的地方迷路,这种功能将成为至关重要的保障。通过小米14Ultra,用户可以实时报告自己的状况,使救援人员能够及时进行远程救援,让手机始终与用户保持连接。0000“年薪1500万”的网红经济学家,要卖生发液?
三个月时间,头发变多变粗变黑,没有植发,只需要一种营养液。谁也没料到,这则带着浓浓硬广信息的推文,出现在网红经济学家任泽平的微博中。5月29日,曾担任恒大集团首席经济学家的任泽平,高调发布了一则带货微博,卖起了生发产品,他在文中介绍道:“仁生泽发,专注头皮头发健康管理,6月8号全网开售。”站长网2023-05-31 13:50:100000