登陆注册
10042

日本政府与科技巨头联手投资数亿美元开发日语语言模型

站长网2023-09-18 10:10:490

文章概要:

1. 日本政府与NEC、富士通、软银等主要科技公司正在合作投资数亿美元,旨在开发一款文化敏感的日语语言模型,超越现有的ChatGPT等模型,更好地体现日本文化和语言。

2. 这一新模型将在国家超级计算机Fugaku上进行训练,并计划于明年以开源形式发布,具备至少300亿个参数,预计性能明显优于现有模型。

3. 为了评估语言模型对日本文化的敏感度,研究人员开发了Rakuda排名,其中GPT-3.5目前排名第一,表现优异,但日本LLM在该排名中排名第四。

据最新报道,日本政府与NEC、富士通、软银等主要科技公司正共同投资数亿美元,旨在开发一款文化敏感的日语语言模型。这一举措旨在超越现有的ChatGPT等模型,更好地代表日本文化和语言,解决当前模型在日本市场上的一些不足之处。

由东京工业大学、东北大学、富士通和政府资助的 RIKEN 开发的日本 LLM 预计将于明年开源,并将拥有至少300亿个参数。

新的日语语言模型将使用国家超级计算机Fugaku进行训练,这将使其性能远远超越现有的模型。

研究人员指出,现有模型如ChatGPT存在一些问题,例如生成一些罕见的字符和未知单词,以及在文化上适当且礼貌的沟通规范方面存在不足。这些问题可能是由于日语具有多达48个字符的字母系统,以及汉字汉字的使用,每个字符都有不同的发音,以及大约50,000个很少使用的汉字。新模型的开发旨在解决这些问题,提供更准确和文化敏感的日语生成。

为了评估语言模型对日本文化的敏感度,研究人员还开发了Rakuda排名系统。根据排名结果,目前最优秀的开源日本LLM在该排名中排名第四,而GPT-3.5表现卓越,名列榜首。随着新模型的发布,预计其性能将明显超越目前的情况,使其成为更好的文化代表。

日本文部科学省正在建立一个更大的模型。该模型拥有至少1000亿个参数,也将基于日语并针对科学应用进行优化:根据已发表的研究,它将产生新的假设以加速研究。该模型将耗资约2亿美元,预计将于2031年向公众开放。

最近,日本文部科学省还发布了指导方针,允许小学、初中和高中有限地使用ChatGPT等生成式人工智能,以促进教育和研究领域的发展。这一举措显示了日本政府对人工智能领域的积极投资和支持。

0000
评论列表
共(0)条