阿里开源千亿参数模型 Qwen1.5-110B，性能超越 Meta-Llama3-70B

近日，阿里巴巴宣布开源其最新的 Qwen1.5系列语言模型 - Qwen1.5-110B。这是 Qwen1.5系列中规模最大的模型，也是该系列中首个拥有超过1000亿参数的模型。

据悉，Qwen1.5-110B采用了与其他Qwen1.5模型相同的Transformer解码器架构，并引入了分组查询注意力（GQA）机制，在模型推理时更加高效。该模型支持32K tokens的上下文长度，同时仍然是多语言的，支持英、中、法、西、德、俄、日、韩、越、阿等多种语言。

与最近发布的SOTA语言模型Meta-Llama3-70B和Mixtral-8x22B进行对比，结果显示Qwen1.5-110B在基础能力方面至少与Llama-3-70B相媲美。

阿里巴巴表示，与之前发布的72B模型相比，在两个聊天模型的基准评估中，110B模型表现显著更好，这表明即使在没有大幅改变后训练方法的情况下，更强大、更大规模的基础语言模型也可以带来更好的聊天模型性能。

Qwen1.5-110B是Qwen1.5系列中规模最大的模型，也是该系列中首个拥有超过1000亿参数的模型。它在与最近发布的SOTA模型Llama-3-70B的性能上表现出色，并且明显优于72B模型。