Stability AI发布两款日语语言模型

划重点:

1. 最新发布:Stability AI Japan发布了两款日语语言模型，

分别是“Japanese Stable LM3B-4E1T”和“Japanese Stable LM Gamma7B”，前者有30亿参数，后者则拥有70亿参数。

这两款模型基于之前发布的英语语言模型构建，后来通过引入大量日语和英语数据进行预训练，提升其日语语言处理能力。

Stability AI Japan最近发布了两款令人瞩目的日语语言模型，分别命名为“Japanese Stable LM3B-4E1T”和“Japanese Stable LM Gamma7B”。

前者具有大约30亿参数，而后者则拥有高达70亿参数的庞大规模。这两款模型以Apache2.0许可证发布，允许商业使用，为日本的自然语言处理领域带来了一次革命性的突破。

这两个模型的背景可追溯到之前发布的英语语言模型，具体为“Stable LM3B-4E1T”和“Mistral-7B-v0.1”。最初，它们在主要使用英语数据进行训练，因此在英语处理方面表现出色，但在日语处理能力上受限，这是因为日语数据相对较少。

为了提高其日语语言能力，这两个模型经历了持续的预训练，利用了来自维基百科、mC4、CC-100、OSCAR和SlimPajama（不包括Books3）等数据源的大约1000亿token。

这两款模型的性能评估采用了与之前发布的“Japanese Stable LM Alpha”相同的方法。评估包括了日本语言理解基准（JGLUE）任务，涵盖了句子分类、句子对分类、问题回答和文本摘要等八项任务。结果显示，尽管只有30亿参数，但“Japanese Stable LM3B-4E1T”在多项任务上表现出色，而“Japanese Stable LM Gamma7B”甚至获得更高的分数，展示了这些模型在日语自然语言处理方面的卓越进展。