Mixtral8x7B

MistralAI近日发布了首个开源MoE模型Mixtral8x7B，并宣布在魔搭社区上线。Mixtral-8x7B是一款混合专家模型（MixtrueofExperts），由8个拥有70亿参数的专家网络组成，在能力上，Mixtral-8x7B支持32ktoken上下文长度，支持英语、法语、意大利语、德语和西班牙语，拥有优秀的代码生成能力，可微调为指令跟随模型。