Skywork

2024年6月3日，昆仑万维宣布开源了一个性能强劲的2千亿稀疏大模型，名为Skywork-MoE。这个模型是在之前开源的Skywork-13B模型的基础上扩展而来的，是首个完整应用并落地MoEUpcycling技术的开源千亿级MoE大模型。同时，这也是全球首个支持在单台4090服务器上进行推理的开源千亿级MoE大模型。

阿里巴巴达摩院模型开源社区“魔搭”表示，昆仑万维「天工」Skywork-13B系列已在魔搭社区全球首发开源，据悉，百亿级大语言模型「天工」Skywork-13B系列，该模型包括130亿参数的两个版本:Skywork-13B-Base和Skywork-13B-Math。这些模型在多个权威评测和基准测试中表现出色，尤其在中文科技、金融和政务领域的能力更加突出。

10月30日，昆仑万维宣布开源了百亿级大语言模型「天工」Skywork-13B系列，并提供了超大规模的高质量中文数据集。该系列包括两个模型:Skywork-13B-Base和Skywork-13B-Math，它们在多个评测和基准测试中都表现出了同等规模模型的最佳效果。此外，昆仑万维还开源了600GB、150BTokens的中文语料数据集。这是目前最大的开源中文数据集之一。