基于Llama 2的日语LLM发布，参数量达70亿、可与GPT3.5匹敌

文章概要:

1. ELYZA发布了基于Meta的Llama2的日语LLM「ELYZA-japanese-Llama-2-7b」，参数数量达到70亿，性能媲美GPT3.5。

2. 该模型经过追加事前学习和独特的事后学习，性能在5级手动评估中获得最高分，尽管还未达到封闭型LLM的水平，但已经与GPT3.5相匹敌。

3. ELYZA成功地将英语等其他语言的LLM能力引入日本语，并通过减少日本语学习量来改进Meta的Llama2基础上的模型。

最近，日本的人工智能初创公司ELYZA宣布发布了一款基于Meta的「Llama2」的日本语言模型（LLM），该模型被命名为「ELYZA-japanese-Llama-2-7b」，拥有70亿参数。此举使得该模型能够与开放AI领域的巨头GPT3.5相媲美。

为了达到这一性能水平，ELYZA采用了多重学习策略。首先，他们进行了日本语的追加事前学习，然后进行了独特的事后学习。此外，通过增加日本语词汇表，他们实现了模型的高速化，进一步提高了性能。这一系列措施使得「ELYZA-japanese-Llama-2-7b」成为一个强大的日本语言模型。

性能方面，ELYZA使用了「ELYZA Tasks100」数据集，进行了5级手动评估。评测时，三人进行盲测，隐藏型号名称、打乱顺序，通过得分平均来计算分数。

结果显示，「ELYZA-japanese-Llama-2-7b-instruct」在与其他已公开的日本语模型进行比较时，获得了最高分。虽然它还没有达到闭源LLM的水平，但已经能够与GPT3.5相匹敌。

值得注意的是，ELYZA在模型的开发中采用了一种聪明的方法，将其他语言的LLM能力引入到了日语中，从而减少了日语学习的难度和成本。这一策略为模型的性能提升做出了重要贡献。

ELYZA的「ELYZA-japanese-Llama-2-7b」模型标志着日本语LLM领域的一项重要突破。虽然目前在参数数量上仍不及一些国际级模型，但这一进展为日本语自然语言处理和生成领域带来了更多可能性，未来可望进一步提高日本语LLM的性能。