Mixtral

Dolphin2.9.1Mixtral1x22b是由CognitiveComputations团队创建的一个多功能文本生成模型。这个模型具备以下特点:多功能文本生成:它能够处理指令、对话和编码任务，具有广泛的应用能力。高性能:模型基于Dolphin-2.9-Mixtral-8x22b，拥有64k上下文的基础模型，经过全权重微调，使用16k序列长度，在8xH100GPU上耗时27小时完成。

【新智元导读】最大开源模型，再次刷爆纪录!Snowflake的Arctic，以128位专家和4800亿参数，成为迄今最大的开源模型。它的特点，是又大又稀疏，因此计算资源只用了不到Llama38B的一半，就达到了相同的性能指标。就在刚刚，拥有128位专家和4800亿参数的Arctic，成功登上了迄今最大开源MoE模型的宝座。