新型稀疏LVLM架构MoE

要点:1、MoE-LLaVA是一种新型稀疏LVLM架构，使用路由算法仅激活top-k专家。2、MoE-LLaVA在各种视觉理解数据集上表现相当甚至超越了LLaVA-1.5-7B。3、MoE-LLaVA采用三阶段的训练策略，以降低稀疏模型学习的难度。