ChatGLM2-6B 发布 相比初代推理提速42%
GLM技术团队宣布升级ChatGLM-6B,并发布了ChatGLM2-6B。之前发布的ChatGLM-6B在3月14日上线,截至6月24日,其在Hugging Face的下载量已经超过了300万次。
截至6月25日,ChatGLM2模型在主要评估LLM模型中文能力的C-Eval榜单中以71.1的分数位居 Rank0;而ChatGLM2-6B模型则以51.7的分数排名第六,是榜单上开源模型的排名最高的。
项目地址:https://github.com/THUDM/ChatGLM-6B
ChatGLM2-6B是ChatGLM-6B的第二代开源中英双语对话模型。在保留初代模型对话流畅、部署门槛较低等优秀特性的基础上,ChatGLM2-6B引入了以下新特性:
1.更强大的性能:基于ChatGLM初代模型的开发经验,ChatGLM2-6B全面升级了基座模型。采用GLM混合目标函数,利用1.4T中英文字符预先训练和人类偏好对齐的训练,ChatGLM2-6B相较初代模型在多项数据集上展现出的性能提升:在MMLU( 23%)、CEval( 33%)、GSM8K( 571%)、BBH( 60%)等数据集上有大幅度提升,使其在同一大小的开源模型中具有竞争力。
2.更长的上下文:基于FlashAttention技术,项目团队将基座模型的上下文长度(Context Length)从ChatGLM-6B的2K扩展到32K,并在对话阶段使用8K的上下文长度训练,以便进行更多轮次的对话。但是目前ChatGLM2-6B对于单轮超长文档的理解能力尚有限,团队将在后续升级中对其进行优化。
3.更高效的推理:基于Multi-Query Attention技术,ChatGLM2-6B有更高效的推理速度和更低的显存占用,官方模型实现下,推理速度相比初代提升了42%,在INT4量化下,6G显存支持的对话长度提高到了8K。
4.更开放的协议:ChatGLM2-6B模型权重对学术研究完全开放,在官方的书面许可下,也允许商业使用。
评测结果
以下为 ChatGLM2-6B 模型在 MMLU (英文)、C-Eval(中文)、GSM8K(数学)、BBH(英文) 上的测评结果。
推理性能
ChatGLM2-6B 使用了 Multi-Query Attention,提高了生成速度。生成2000个字符的平均速度对比如下
Multi-Query Attention 同时也降低了生成过程中 KV Cache 的显存占用,此外,ChatGLM2-6B 采用 Causal Mask 进行对话训练,连续对话时可复用前面轮次的 KV Cache,进一步优化了显存占用。因此,使用6GB 显存的显卡进行 INT4量化的推理时,初代的 ChatGLM-6B 模型最多能够生成1119个字符就会提示显存耗尽,而 ChatGLM2-6B 能够生成至少8192个字符。
项目团队也测试了量化对模型性能的影响。结果表明,量化对模型性能的影响在可接受范围内。
示例对比
相比于初代模型,ChatGLM2-6B 多个维度的能力都取得了提升,以下是一些对比示例。
数理逻辑
知识推理
长文档理解
月入1万,就超过了全国95%的人。
各位村民好,我是村长许多赚不到钱的人,都犯了一个通病。那就是看不上小钱,整天都想着月入3万、5万甚至10万。看着别人做淘客一个月几十万,别人做直播带货一个月几百万,总之就是羡慕别人,自己迟迟不做行动。01小钱看不上一提到某个项目赚钱,大家看到的都是别人赚钱的结果,而忽略了别人赚钱的过程。以为别人从一开始,就是一个月赚几万以上的。0000扎克伯格预测:明年将迎来人工智能名人与粉丝互动时代
据报道,Meta首席执行官马克·扎克伯格表示,人工智能名人与粉丝互动可能在明年成为现实。在接受Verge采访时,扎克伯格表示,人们对人工智能版名人有着巨大的需求。举凯莉·詹纳(KylieJenner)为例,扎克伯格强调了粉丝们与名人互动的渴望,但也指出了品牌安全的考虑,暗示这一趋势可能会推迟到明年才成为主流。站长网2023-09-28 14:30:460000Signal总裁惠特克:人工智能本质上是一种监控技术
在TechCrunchDisrupt2023活动上,加密通信软件Signal的总裁MeredithWhittaker表示,人工智能在很大程度上是一种监控技术。她认为人工智能需要大量用户数据来支撑商业模式,这加剧了自20世纪90年代末以来监控型广告业务的发展。图源备注:图片由AI生成,图片授权服务商Midjourney站长网2023-09-26 09:40:550000高通全球副总裁: 高通下一代手机平台将能够支持 50 亿到 70 亿参数的大模型
高通全球副总裁孙刚在今日的2023世界半导体大会上表示,5G和AI是两个相互关联、同步发展的技术。孙刚预计,高通下一代手机平台将能够支持50亿到70亿参数的大数据模型,而现在高通正在推出的新一代智能座舱平台,在未来几个月内能够支持超过100亿参数的大数据模型。站长网2023-07-20 18:09:310002私域近九成留存率,千万用户大盘如何从“量变”到“质变”?
乘着一波大势,这家企业在全国快速增长了数千家门店,但随之而来也有大量连锁门店管理难题。存量市场当下,新渠道增长与拓展是企业的主要思考点之一,但相比之下,后端全渠道管理是比拓展新渠道更难。前不久,见实会员一行走进这家连锁门店企业展开游学活动。集团会员负责人杨鑫提到,高质量门店流量,为他们带来留存率高达85%以上的千万私域用户。这背后的两个重要体感:站长网2024-02-04 10:58:140000