OpenBuddy发布新一代中文跨语言大模型 基于Llama 3 70B打造
站长网2024-05-10 11:29:400阅
OpenBuddy 团队发布了基于 Meta Llama370B 的最新成果:OpenBuddy-Llama3-70B-v21.1-8k,这是他们首次在 Llama370B 基座上的中文跨语言训练尝试。
Llama370B 是一个15T 训练集训练而成的稠密大模型,然而由于训练集中缺少中文数据,Meta 官方的 Llama3系列对话模型在中文领域的认知、理能力较弱,容易出现以英文回答中文问题的现象。
![](https://i.zz5.net/images/article/2024/05/10/112940876.jpg)
因此,OpenBuddy 团队在此次训中选择了 Llama370B Base 模型作为基础,重点提升模型的跨语言理解、认知能力。
测试过程中,OpenBuddy-Llama3-70B 展现出了优秀的中文理解能力,具备了更的认知潜力和量化后性能。在此次发布的模型中,他们对 Llama3现有词表进行了扩,增加了7000余个中文字词,进一步提升了模型中文编码密度。
值得一提的是,于量化版模型能力下降较为明显,他们本次只发布了模型的完整版权重,后续会尝优化70B 模型的量化后性能,并挑选合适时机发布量化版。
模型链接:
https://www.modelscope.cn/models/OpenBuddy/openbuddy-llama3-70b-v21.1-8k/summary
0000
评论列表
共(0)条相关推荐
报告称,人工智能在5月份已经导致近 4000 人失业
对于那些想知道AI何时开始取代人类工作的人来说,答案是它已经开始了。根据Challenger、Gray&Christmas的数据,人工智能在上个月导致近4,000人失业,因为人们对快速发展的技术执行高级组织任务和减轻工作量的能力的兴趣有所增强。站长网2023-06-05 23:57:140000IBM新类脑芯片NorthPole:AI运算速度是商业芯片的22倍
🔍划重点:1️⃣IBMNorthPole类脑芯片运算速度比商用芯片快22倍,能效高25倍。2️⃣仿脑技术解决冯·诺伊曼瓶颈问题,加速AI图像识别。3️⃣该芯片将计算和存储融合,革新计算机架构。IBM最新研发的NorthPole类脑芯片引起了广泛关注,因其能以超快速度运行AI图像识别算法。该芯片运算速度比商用芯片快了22倍,而且能效提高了25倍。注:图片来自IBM官方博客站长网2023-10-20 10:58:420000因仿冒“玲娜贝儿”玩偶2.5万余件 两被告人被罚20余万元
近日,上海市浦东新区人民法院审理了一起侵犯“玲娜贝儿”著作权刑事案件,并当庭作出一审判决。2021年3月12日,迪士尼企业公司创作完成“玲娜贝儿”(英文名:LinaBell)美术作品。同年9月,以该美术作品原形设计制作的“玲娜贝儿”玩偶发表。2022年2月,迪士尼企业公司在国家版权局对“玲娜贝儿”美术作品进行了登记。站长网2023-05-12 20:24:48000212306APP改版 新增折扣信息
近日,12306APP购票页面改版。与此前页面相比,新版在查询列车信息页面可直接选购座席等级,同时显示折扣信息。目前不少铁路执行浮动票价,在公布票价的基础上,实际票价有所浮动。据中国铁路微信公众号公布数据,三季度,全国铁路发送旅客11.5亿人次,较2019年同期增长11.6%。站长网2023-12-07 12:08:190000三星电子获得数据中心 AI 芯片订单 受益于 4 纳米工艺良率提高
站长之家(ChinaZ.com)7月14日消息:三星电子在其先进的4纳米制造工艺中,成功获得了一家数据中心AI芯片客户。据ZDNetKorea报道,根据业内消息,三星电子的制造部门最近获得了一项订单,用于生产供应数据中心的服务器用AI芯片。该芯片将通过三星电子设计子公司的设计,在明年下半年开始量产,采用三星电子的4纳米制造工艺。这是三星电子首次获得该芯片客户的订单。站长网2023-07-14 16:01:220001