微软开源多模态模型LLaVA-1.5媲美GPT-4V效果

划重点:

🌐 微软研究院、威斯康星大学开源LLaVA-1.5，加入多模态模型主流。

🚀 LLaVA-1.5引入跨模态连接器和学术视觉问答数据集，全面提升多模态理解和生成。

📊 在多个知名数据平台测试中，LLaVA-1.5达到开源模型最高水平，媲美GPT-4V效果。

微软开源了多模态模型LLaVA-1.5，继承LLaVA架构并引入新特性。研究人员对其在视觉问答、自然语言处理、图像生成等进行了测试显示，LLaVA-1.5达到了开源模型中的最高水平，可媲美GPT-4V效果。

该模型由视觉模型、大语言模型和视觉语言连接器三大块组成。其中，视觉模型使用了预先训练好的CLIP ViT-L/336px，通过CLIP编码可得到固定长度的向量表示，提升图像语义信息表征。与前版本相比，CLIP模型参数和输入分辨率均有显著提升。

大语言模型采用了拥有130亿参数的Vicuna v1.5，用于理解用户输入文本并捕获语义信息，具备强大的推理和生成能力。不同于仅进行图像编码器调优的方法，LLaVA-1.5在训练中更新大语言模型参数，使其能够直接学习如何整合视觉信息进行推理，提高模型自主性。

视觉语言连接器方面，LLaVA-1.5采用双层MLP连接器替代线性投影，有效将CLIP编码器输出映射到大语言模型的词向量空间。

在训练流程上，LLaVA-1.5遵循双阶段训练方式。首先，进行视觉语言表示的预训练，使用约60万张图像文本对，训练时间约1小时。随后，在65万多模态指令数据上进行调优，训练时间约20小时。这种高效的双阶段训练确保了模型的收敛性，并在一天内完成整个流程，相较于其他模型大幅度减少了AI算力和时间成本。

研究人员还设计了匹配的响应格式提示，指导模型根据交互类型调整输出形式以满足特定场景需求。在视觉指令调优方面，LLaVA-1.5使用不同类型的数据集，包括VQA、OCR、区域级VQA、视觉对话、语言对话等，总计约65万条数据，为模型提供丰富的视觉场景推理和交互方式。

LLaVA-1.5在多模态领域取得显著进展，通过开源促进了其在视觉问答、自然语言处理、图像生成等方面的广泛应用。

项目GitHub入口:https://top.aibase.com/tool/llava