王小川旗下百川智能发布Baichuan-13B大模型 130亿参数开源可商用
继Baichuan-7B之后,近日,王小川旗下百川智能再次发布Baichuan-13B大模型。
据介绍,Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含130亿参数的开源可商用的大规模语言模型,在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练 (Baichuan-13B-Base) 和对齐 (Baichuan-13B-Chat) 两个版本。
Baichuan-13B 有如下几个特点:
更大尺寸、更多数据:Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到130亿,并且在高质量的语料上训练了1.4万亿 tokens,超过 LLaMA-13B40%,是当前开源13B 尺寸下训练数据量最多的模型。支持中英双语,使用 ALiBi 位置编码,上下文窗口长度为4096。
同时开源预训练和对齐模型:预训练模型是适用开发者的『 基座 』,而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型(Baichuan-13B-Chat),具有很强的对话能力,开箱即用,几行代码即可简单的部署。
更高效的推理:为了支持更广大用户的使用,我们本次同时开源了 int8和 int4的量化版本,相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛,可以部署在如 Nvidia3090这样的消费级显卡上。
开源免费可商用:Baichuan-13B 不仅对学术研究完全开放,开发者也仅需邮件申请并获得官方商用许可后,即可以免费商用。
【HuggingFace】
预训练模型:https://huggingface.co/baichuan-inc/Baichuan-13B-Base
对话模型:https://huggingface.co/baichuan-inc/Baichuan-13B-Chat
【GitHub】
https://githuB.com/Baichuan-inc/Baichuan-13B
【Model Scope】
预训练模型:https://modelscope.cn/models/Baichuan-inc/Baichuan-13B-Base/
对话模型:https://modelscope.cn/models/Baichuan-inc/Baichuan-13B-Chat/
气象局研讨推进人工智能气象预报大模型建设
据中国气象局消息,8月3日,中国气象局围绕人工智能气象预报大模型建设展开研讨。会议指出,当前人工智能技术应用在气象预报领域已呈现出快速发展趋势。建设人工智能气象预报大模型,有利于开辟气象高质量发展新赛道,有利于为实现气象科技能力现代化注入新动能,有利于加快推动气象业务技术体制改革。站长网2023-08-04 08:48:090000华为 P60对比华为 P50,配置有哪些升级,一眼看懂
站长网2023-05-24 14:30:16000080w人疯狂围观,这个赛道开始卷起来了
说起张静初,相信很多人都对她有印象,80后的她,在演艺圈沉寂已久,近日,却因为开直播分享学习生活,吸引了将近80万人在线观看,#张静初考研#的词条一度登上微博热搜。有网友留言:“我都睡了一觉了姐姐还在(学习)”“她写作业已写到‘生无可恋’”。站长网2024-05-14 14:00:220000苹果发布 iOS 16.5 系统更新:修复一长串安全漏洞及增强功能
今天,苹果公司发布了iOS16.5,这是iOS16操作系统的第五个主要更新。虽然iOS16.5不像我们之前看到的某些更新那样引人注目,但其中有一些重要的错误修复和功能增加。以下是iOS16.5更新中所有新功能的详细介绍。AppleNews中的「Sports」选项卡站长网2023-05-19 10:16:460001苹果或将在 2024/25 年推出 Apple Watch X 智能手表
据外媒9to5mac报道,知名爆料者MarkGurman透露苹果正在准备对AppleWatch进行重大重新设计,并称之为AppleWatchX。这款新型智能手表计划于2024年或2025年推出,正好是AppleWatch问世十周年之际。站长网2023-08-14 08:42:160000