基于Llama 2的日语LLM发布,参数量达70亿、可与GPT3.5匹敌
文章概要:
1. ELYZA发布了基于Meta的Llama2的日语LLM「ELYZA-japanese-Llama-2-7b」,参数数量达到70亿,性能媲美GPT3.5。
2. 该模型经过追加事前学习和独特的事后学习,性能在5级手动评估中获得最高分,尽管还未达到封闭型LLM的水平,但已经与GPT3.5相匹敌。
3. ELYZA成功地将英语等其他语言的LLM能力引入日本语,并通过减少日本语学习量来改进Meta的Llama2基础上的模型。
最近,日本的人工智能初创公司ELYZA宣布发布了一款基于Meta的「Llama2」的日本语言模型(LLM),该模型被命名为「ELYZA-japanese-Llama-2-7b」,拥有70亿参数。此举使得该模型能够与开放AI领域的巨头GPT3.5相媲美。
为了达到这一性能水平,ELYZA采用了多重学习策略。首先,他们进行了日本语的追加事前学习,然后进行了独特的事后学习。此外,通过增加日本语词汇表,他们实现了模型的高速化,进一步提高了性能。这一系列措施使得「ELYZA-japanese-Llama-2-7b」成为一个强大的日本语言模型。
性能方面,ELYZA使用了「ELYZA Tasks100」数据集,进行了5级手动评估。评测时,三人进行盲测,隐藏型号名称、打乱顺序,通过得分平均来计算分数。
结果显示,「ELYZA-japanese-Llama-2-7b-instruct」在与其他已公开的日本语模型进行比较时,获得了最高分。虽然它还没有达到闭源LLM的水平,但已经能够与GPT3.5相匹敌。
值得注意的是,ELYZA在模型的开发中采用了一种聪明的方法,将其他语言的LLM能力引入到了日语中,从而减少了日语学习的难度和成本。这一策略为模型的性能提升做出了重要贡献。
ELYZA的「ELYZA-japanese-Llama-2-7b」模型标志着日本语LLM领域的一项重要突破。虽然目前在参数数量上仍不及一些国际级模型,但这一进展为日本语自然语言处理和生成领域带来了更多可能性,未来可望进一步提高日本语LLM的性能。
Google Photos推出AI功能,智能整理照片,分类更便捷
站长网2023-11-16 11:36:510000多尺度深度生成模型NeuralPLexer:预测蛋白质-配体复合物结构
**划重点:**1.🔬**新方法介绍:**IambicTherapeutics、英伟达、加州理工学院联合开发的NeuralPLexer利用深度生成模型,仅通过蛋白质序列和配体分子图输入即可直接预测蛋白质-配体复合物结构。站长网2024-02-22 09:22:150001美国司法部指控苹果招聘歧视 苹果支付2500万美元赔偿
据国外媒体报道,苹果公司同意支付高达2500万美元的赔偿金,并结清了有关其存在的被处罚的指控。其中1825万美元将用于为同胞的受害者设立欠款基金,其余675万美元用于民事处罚。美国司法部发现,苹果公司通过永久劳工认证计划(PERM)进行招聘时违反了《移民和入境法》,该计划允许公司在美国雇用外国工人。苹果公司在其网站上发布职位空缺广告,并且只接受通过邮件发送的PERM职位申请。站长网2023-11-10 10:10:330000用ChatGPT分析金融数据!摩根士丹利与OpenAI合作
9月8日,路透社消息,全球最大金融机构之一摩根士丹利,将在本月正式发布一款生成式AI产品用于金融服务。例如,查询专业金融数据,总结金融顾问与客户的对话内容,起草电子邮件等。据悉,该产品由OpenAI提供支持,并结合了摩根士丹利超过10万份财务报告、内部资料、金融文献等数据进行了微调。以确保AI机器人生成的内容准确无误,不会出现虚假、非法信息,同时帮助业务人员节省查阅资料时间。站长网2023-09-09 09:18:020000网红公司,草台班子?
空降CEO,管不好“夫妻档”。辛巴最近又上热搜了,行业人士直言,“这个教训有点贵”。今年第一季度,辛选集团外聘了一位拥有大厂背景的CEO管倩,4月,辛巴(辛选集团创始人辛有志)在直播中称自己已经卸任,要把公司交给她管。仅8个月过去,这位CEO就被辞退,离职前还在公司内部群和社交平台上,与辛巴的徒弟蛋蛋上演了一出“逼宫”大戏。0000