具有高级视觉词汇视觉语音模型

划重点:📌挑战与潜力:大型视觉语言模型（LVLMs）在计算机视觉(CV)和自然语言处理(NLP)交叉任务中表现出色，但在图像感知能力方面仍有潜力待发。📌模型结构:目前的LVLMs通常采用图像标记作为前缀或交叉注意力进行特征融合。然而，模型的效率可能受到视觉词汇网络在编码视觉信号方面的限制。