解决模型稀疏性相关的性能下降问题

要点:1、MoE-LLaVA是一种新型稀疏LVLM架构，使用路由算法仅激活top-k专家。2、MoE-LLaVA在各种视觉理解数据集上表现相当甚至超越了LLaVA-1.5-7B。3、MoE-LLaVA采用三阶段的训练策略，以降低稀疏模型学习的难度。