阿里达摩院推大语言模型PolyLM:通晓18种语言 拥有1.7B和13B两种参数版本
最近,阿里巴巴达摩院发布的一个名为 POLYLM 的多语言大型语言模型引起了人们的兴趣。与其他多语言模型不同的是,PolyLM 能够在理解、推理和生成自然语言指令方面表现出显著的能力,该模型拥有1.7B和13B两种参数版本可选。
官方的介绍是这样的:
PolyLM是一个通晓多语言的大语言模型,涵盖中文、英文、西班牙语、法语、德语、俄语、葡萄牙语、意大利语、阿拉伯语、日语、韩语、泰语、越南语和印尼语等18种语言。该模型可以应用于对话问答、文本生成、机器翻译和情感分析等领域,能够自动生成高质量的多语言文本,从而为跨语言、文化的交流提供便利。
据了解,POLYLM 使用了包含640B 个token 的庞大数据集进行训练,数据集来源于维基百科、mC4和 CC-100等公开可访问的资源。
研究团队提出了一种课程学习技术,逐渐增加高质量、资源较少的语言在训练中的比例,重点是从英语向其他语言转移通用知识。
团队还开发了一个名为 MULTIALPACA 的多语言指令数据集,用于监督微调阶段。为了评估 POLYLM 的多语言能力,团队还开发了一个基准测试,包括十个任务和十五种语言。研究表明,POLYLM 在非英语语言上的表现优于同等规模的开源模型。总的来说,POLYLM 提供了一个具有多语言能力的开源模型,有助于解决现有模型在非英语语言上的局限性。
团队总结了 POLYLM 的表现:
已经执行了熟练的13B 比例模型,在西班牙语、俄语、阿拉伯语、日语、韩语、泰语、印度尼西亚语和中文等主要非英语语言中表现良好。该模型补充了现有的开源模型,这些模型要么缺乏对这些语言的熟练程度,要么具有较小的版本而没有相同的功能。
提出了一种先进的课程学习方法,有助于将主要通过英语获得的一般知识转移到各种非英语语言和特定的自然语言处理任务(例如机器翻译)。
人们提出了一个名为 MULTIALPACA 的数据集,它补充了现有的教学数据集,使大语言模型能够更好地遵循多语言教学,特别是非英语母语人士的教学。
论文网址:https://arxiv.org/abs/2307.06018
项目网址:https://modelscope.cn/models/damo/nlp_polylm_13b_text_generation/summary
余承东:预计秋天推出华为鸿蒙大版本更新
华为消费者业务CEO余承东在Pocket2发布会上带来了一则令人期待的消息:华为计划在今年秋天推出一次重大的鸿蒙系统版本更新。这次更新不仅会带来全新的原生应用,还将为用户带来前所未有的体验。余承东强调,鸿蒙系统始终致力于为用户提供常用常新的体验,而这次的大版本更新将是一次质的飞跃。作为华为最新推出的折叠屏手机,Pocket2将有机会率先体验到这一全新系统所带来的卓越性能。站长网2024-02-22 16:29:250000数据显软必应超越百度成为中国第一大桌面搜索引擎
截至2023年4月,根据StatCounter的数据显示,在中国内地桌面搜索市场上,微软必应的份额达到了37.4%,再次创下历史新高,超过了百度,成为中国第一大桌面搜索引擎。百度目前的市场份额为26.32%,微软必应、搜狗、Yandex、好搜、谷歌的市场份额分别为35.69%、14.48%、6.78%、6.17%、3.36%。站长网2023-05-22 16:23:350000西班牙语写作工具初创公司Correcto获700万美元种子资金
文章概要:1.Correcto是一家位于马德里的语言写作工具初创公司,专注于西班牙语用户,最近宣布获得700万美元的种子资金。他们的目标是打造类似Grammarly的自动编辑工具,以改善西班牙语文本的质量。2.创始团队在留学和工作期间受到Grammarly等英语写作工具的启发,但他们发现缺乏适用于西班牙语语法和语法纠正的工具。于是,他们着手开发了一款早期版本的Correcto。站长网2023-09-25 14:43:360000直播三年,抖音电商为云南鲜花带来了什么
在所有的农业产业带中,云南鲜花产业带可能是其中最为典型、也最为特殊的一个。说它典型是因为,农产品「非标准化」的特性在鲜花品类体现得尤为极致,鲜花细分品种极多,国内生产端在种植技术和商品化处理能力上参差不齐,而鲜花自身又极易腐坏。站长网2023-09-12 14:07:540000钉钉:微信用户已可以直接通过微信平台加入钉钉会议
站长之家(ChinaZ.com)3月4日消息:钉钉官方今日宣布,自即日起,微信用户可以直接通过微信平台加入钉钉会议,无需额外下载或跳转。这一举措旨在为用户提供更加便捷、高效的会议体验。用户只需复制钉钉会议的入会链接,通过微信发送给好友或群聊。接收方无需任何额外操作,直接点击链接即可在微信内进入钉钉会议。对于移动设备用户,钉钉还提供了“一键分享至微信”的功能,彻底告别繁琐的复制粘贴过程。站长网2024-03-04 17:25:030000