8x7B

又有新的开源模型可以用了。从Llama、Llama2到Mixtral8x7B，开源模型的性能记录一直在被刷新。由于Mistral8x7B在大多数基准测试中都优于Llama270B和GPT-3.5，因此它也被认为是一种「非常接近GPT-4」的开源选项。

##划重点:1.🚀**创新模型介绍:**MistralAI的研究团队推出了基于SparseMixtureofExperts（SMoE）模型的Mixtral8x7B语言模型，采用开放权重。2.🌐**性能突出:**Mixtral8x7B在多语言数据（32k令牌上下文大小）的预训练中表现优异，与Llama270B和GPT-3.5相比，性能不逊色甚至更好。