登陆注册
11691

Stability AI发布两款日语语言模型

站长网2023-10-25 19:41:320

划重点:

1. 最新发布:Stability AI Japan发布了两款日语语言模型,

分别是“Japanese Stable LM3B-4E1T”和“Japanese Stable LM Gamma7B”,前者有30亿参数,后者则拥有70亿参数。

这两款模型基于之前发布的英语语言模型构建,后来通过引入大量日语和英语数据进行预训练,提升其日语语言处理能力。

Stability AI Japan最近发布了两款令人瞩目的日语语言模型,分别命名为“Japanese Stable LM3B-4E1T”和“Japanese Stable LM Gamma7B”。

前者具有大约30亿参数,而后者则拥有高达70亿参数的庞大规模。这两款模型以Apache2.0许可证发布,允许商业使用,为日本的自然语言处理领域带来了一次革命性的突破。

这两个模型的背景可追溯到之前发布的英语语言模型,具体为“Stable LM3B-4E1T”和“Mistral-7B-v0.1”。最初,它们在主要使用英语数据进行训练,因此在英语处理方面表现出色,但在日语处理能力上受限,这是因为日语数据相对较少。

为了提高其日语语言能力,这两个模型经历了持续的预训练,利用了来自维基百科、mC4、CC-100、OSCAR和SlimPajama(不包括Books3)等数据源的大约1000亿token。

这两款模型的性能评估采用了与之前发布的“Japanese Stable LM Alpha”相同的方法。评估包括了日本语言理解基准(JGLUE)任务,涵盖了句子分类、句子对分类、问题回答和文本摘要等八项任务。结果显示,尽管只有30亿参数,但“Japanese Stable LM3B-4E1T”在多项任务上表现出色,而“Japanese Stable LM Gamma7B”甚至获得更高的分数,展示了这些模型在日语自然语言处理方面的卓越进展。

0000
评论列表
共(0)条