提出Interleaved

要点:多模态大语言模型（MLLM）在视觉处理方面存在重大缺陷，特别是在处理视觉模式上的性能差距明显。研究团队通过将DINOv2特征与CLIP特征结合的方法提升了多模态大模型的视觉功能，创造性地解决了视觉缺陷问题。提出的「交错特征混合（Interleaved-MoF）」方法在MMVP基准中获得了10.7%的能力增强，显著提升了多模态大模型的视觉基础能力。