一种改变机器学习的SMoE语言模型

##划重点:1.🚀**创新模型介绍:**MistralAI的研究团队推出了基于SparseMixtureofExperts（SMoE）模型的Mixtral8x7B语言模型，采用开放权重。2.🌐**性能突出:**Mixtral8x7B在多语言数据（32k令牌上下文大小）的预训练中表现优异，与Llama270B和GPT-3.5相比，性能不逊色甚至更好。