Stability AI发布两款日语语言模型
划重点:
1. 最新发布:Stability AI Japan发布了两款日语语言模型,
分别是“Japanese Stable LM3B-4E1T”和“Japanese Stable LM Gamma7B”,前者有30亿参数,后者则拥有70亿参数。
这两款模型基于之前发布的英语语言模型构建,后来通过引入大量日语和英语数据进行预训练,提升其日语语言处理能力。
Stability AI Japan最近发布了两款令人瞩目的日语语言模型,分别命名为“Japanese Stable LM3B-4E1T”和“Japanese Stable LM Gamma7B”。
前者具有大约30亿参数,而后者则拥有高达70亿参数的庞大规模。这两款模型以Apache2.0许可证发布,允许商业使用,为日本的自然语言处理领域带来了一次革命性的突破。
这两个模型的背景可追溯到之前发布的英语语言模型,具体为“Stable LM3B-4E1T”和“Mistral-7B-v0.1”。最初,它们在主要使用英语数据进行训练,因此在英语处理方面表现出色,但在日语处理能力上受限,这是因为日语数据相对较少。
为了提高其日语语言能力,这两个模型经历了持续的预训练,利用了来自维基百科、mC4、CC-100、OSCAR和SlimPajama(不包括Books3)等数据源的大约1000亿token。
这两款模型的性能评估采用了与之前发布的“Japanese Stable LM Alpha”相同的方法。评估包括了日本语言理解基准(JGLUE)任务,涵盖了句子分类、句子对分类、问题回答和文本摘要等八项任务。结果显示,尽管只有30亿参数,但“Japanese Stable LM3B-4E1T”在多项任务上表现出色,而“Japanese Stable LM Gamma7B”甚至获得更高的分数,展示了这些模型在日语自然语言处理方面的卓越进展。
学而思自研数学大模型MathGPT将于年内推出
据悉,学而思正在进行自研数学大模型MathGPT的研发,以数学领域的解题和讲题算法为核心,目前已经取得阶段性成果,并将于年内推出基于该自研大模型的产品级应用。大型语言模型数学功底差,MathGPT重点攻克三类难点:解答数学问题经常出错,解题步骤不稳定、生成内容冗余,解题讲解过于“学术”和机械,对孩子的学习体验不友好。站长网2023-05-06 11:45:190000国家邮政局:中秋国庆假期全国揽投快递包裹超51.47亿件
国家邮政局监测数据显示,今年中秋国庆放假期间(9月29日-10月6日),全国揽投快递包裹超51.47亿件。其中,全国邮政行业揽收快递与包裹25.75亿件(不包含邮政集团包裹业务),日均揽收量与2019年国庆长假相比增长122.6%,与2022年国庆长假相比增长8.6%;站长网2023-10-07 11:01:130000中国研究人员提出DualToken-ViT:CNN和视觉Transformer的融合,提高图像处理效率和准确性
要点:1、DualToken-ViT将卷积和自注意力联合使用,分别提取局部和全局信息,再将两者输出融合形成有效的注意力结构。2、使用位置感知全局令牌提升全局信息质量,令牌中还包含图像位置信息,有利于视觉任务。3、在相同FLOPs下,DualToken-ViT在图像分类、目标检测和语义分割任务上表现最好。站长网2023-10-02 16:16:030001AI 算法首次发现潜在危险小行星
本文概要:1.AI算法首次发现了一颗潜在危险的小行星。2.该小行星被标记为2022SF289,预计将在接近地球时距离我们只有14万英里。3.该算法的发现对于提前预警可能与地球相撞的小行星具有重要意义。一种用于寻找潜在危险的近地小行星的新人工智能算法已经发现了第一块太空岩石。站长网2023-08-10 14:33:530000Hugging Face、GitHub 等联合呼吁欧盟AI立法中不该阻碍开源创新
由六家开源人工智能利益相关者组成的联盟——HuggingFace、GitHub、EleutherAI、CreativeCommons、LAION和OpenFuture——呼吁欧盟政策制定者在最终确定欧盟人工智能法案时保护开源创新,该法案将成为欧盟人工智能法案的最终版本,号称是世界上第一部全面的人工智能法。站长网2023-07-27 11:23:050000