OpenBuddy发布新一代中文跨语言大模型 基于Llama 3 70B打造
站长网2024-05-10 11:29:400阅
OpenBuddy 团队发布了基于 Meta Llama370B 的最新成果:OpenBuddy-Llama3-70B-v21.1-8k，这是他们首次在 Llama370B 基座上的中文跨语言训练尝试。
Llama370B 是一个15T 训练集训练而成的稠密大模型，然而由于训练集中缺少中文数据，Meta 官方的 Llama3系列对话模型在中文领域的认知、理能力较弱，容易出现以英文回答中文问题的现象。
因此，OpenBuddy 团队在此次训中选择了 Llama370B Base 模型作为基础，重点提升模型的跨语言理解、认知能力。
测试过程中，OpenBuddy-Llama3-70B 展现出了优秀的中文理解能力，具备了更的认知潜力和量化后性能。在此次发布的模型中，他们对 Llama3现有词表进行了扩，增加了7000余个中文字词，进一步提升了模型中文编码密度。
值得一提的是，于量化版模型能力下降较为明显，他们本次只发布了模型的完整版权重，后续会尝优化70B 模型的量化后性能，并挑选合适时机发布量化版。
模型链接:
https://www.modelscope.cn/models/OpenBuddy/openbuddy-llama3-70b-v21.1-8k/summary
0000
评论列表
共(0)条相关推荐
阅文集团发布2023网络文学十大关键词：AI金手指等上榜
阅文集团与澎湃新闻联合发布了《2023网络文学十大关键词》，种田、考研、无CP、坐忘道、全员上桌、智商在线、非遗、AI金手指、短剧、霸总全球化等热词榜上有名。这些关键词展现了2023年网络文学发展的重要变化和趋势特点。首先是考研和种田。考研作为一个热门话题，促使了一批与考研相关的网络文学作品的创作。而种田则成为了年轻人减压的一种方式，种田网文、种田综艺和种田剧成为了年轻人追捧的对象。站长网2023-12-27 10:44:480000高薪主播，濒临“下岗”？
2023年，AI主播正在直播电商行业自上而下地“流行”开来。4月25日，腾讯云发布智能小样本数字人生产平台，宣称三分钟完成建模、成本降低至数千元，即利用技术进行人物外貌和声音模型的训练和搭建，从而1:1还原主播，创造一个“AI替身”。图源:腾讯云数智人生成效果站长网2023-07-26 09:59:220001微软为AI背包申请专利 布满传感器、拥有语音功能
文章概要:1.微软为一款布满传感器、拥有AI功能的背包申请了专利。2.背包可以检测语音、识别周围物体、给出方向、访问云端等。3.尽管细节奇特，但微软可能判断时机成熟，AI可穿戴设备市场需求上升。最近，微软申请了一个充满传感器、配备AI的背包专利，使可穿戴技术提升到一个新的水平。该专利背包规格也很不一般，包括检测用户语音、给出建议、录制和存储音频等功能。站长网2023-09-04 15:15:490000七部门联合公布AIGC管理办法 今年8月15日起施行
根据“网信中国”微信公众号的消息，国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局最近公布了《生成式人工智能服务管理暂行办法》（简称《办法》），该《办法》将于2023年8月15日开始施行。站长网2023-07-14 16:20:4200002.5亿美元！谷歌将购买部分HTC XR业务
快科技1月23日消息，据报道，谷歌将斥资2.5亿美元与HTC达成一项重要交易，其中部分HTC的XR研发团队精英将融入谷歌大家庭。根据协议条款，谷歌将获得HTC非专属的XR知识产权（IP）授权，这一战略合作的预计完成时间为2025年第一季度。此外，双方还表示将在协议签署后，积极探讨潜在的未来合作契机。0000
