4800亿参数MoE击败Llama

【新智元导读】最大开源模型，再次刷爆纪录!Snowflake的Arctic，以128位专家和4800亿参数，成为迄今最大的开源模型。它的特点，是又大又稀疏，因此计算资源只用了不到Llama38B的一半，就达到了相同的性能指标。就在刚刚，拥有128位专家和4800亿参数的Arctic，成功登上了迄今最大开源MoE模型的宝座。