千亿稀疏大模型

2024年6月3日，昆仑万维宣布开源了一个性能强劲的2千亿稀疏大模型，名为Skywork-MoE。这个模型是在之前开源的Skywork-13B模型的基础上扩展而来的，是首个完整应用并落地MoEUpcycling技术的开源千亿级MoE大模型。同时，这也是全球首个支持在单台4090服务器上进行推理的开源千亿级MoE大模型。