微软开源 SliceGPT:大模型体量压缩25%左右,性能保持不变
站长网2024-02-11 13:33:320阅
划重点:
⭐️ 可将大模型体量压缩25% 左右,性能保持不变。
⭐️ SliceGPT 利用计算不变性简化和压缩模型。
⭐️ 切片操作后的模型可以在消费级显卡上运行,无需额外代码优化。
微软和苏黎世联邦理工学院的研究人员联合开源了 SliceGPT,该技术可以极限压缩大模型的权重矩阵,将模型体量压缩25% 左右,同时保持性能不变。实验数据显示,在保持零样本任务性能的情况下,SliceGPT 成功应用于多个大型模型,如 LLAMA-270B、OPT66B 和 Phi-2。
SliceGPT 的核心技术在于利用计算不变性来简化和压缩模型。通过对每个权重矩阵应用正交矩阵变换,SliceGPT 实现了对模型的极限压缩。此外,切片操作后的模型可以直接在消费级显卡上运行,如 N 卡的4090、4080,无需进行额外的代码优化,使得部署更加便捷。
在实验中,研究人员发现 SliceGPT 的切片技术非常简单高效,可以在几个小时内使用单个 GPU 完成模型压缩,无需复杂的细调过程。切片操作后的模型保持了高质量的生成任务性能,同时吞吐量得到提升,整体效果令人满意。
SliceGPT 的开源为压缩大模型提供了一种新颖且有效的途径,将大幅节省部署资源同时保持模型性能不变。这一技术的推出,有望为广大开发者和企业提供更加便捷、高效的大模型应用解决方案。
开源地址:https://github.com/microsoft/TransformerCompression
论文地址:https://arxiv.org/abs/2401.15024
0000
评论列表
共(0)条相关推荐
亚马逊 AWS 正在考虑使用 AMD 的新 MI300X 人工智能芯片
亚马逊网络服务(AmazonWebServices,简称AWS)是全球最大的云计算提供商,据一位AWS高管告诉路透社,该公司正在考虑使用来自AMD的新人工智能芯片,但尚未做出最终决定。这一消息是在AMD举办的一次活动上透露的,该活动中该芯片公司概述了其在人工智能市场上的战略,该市场目前由竞争对手英伟达主导。站长网2023-06-15 07:10:240000奥特曼将回归OpenAI担任首席执行官
OpenAI宣布,已经原则上达成协议,创始人奥特曼(SamAltman)重返公司担任CEO。同时,组建由董事会主席BretTaylor、LarrySummers和AdamD'Angelo组成的新董事会。上周五,OpenAI董事会宣布解雇SamAltman,由首席技术官米拉·穆拉蒂(MiraMurati)担任临时CEO。站长网2023-11-22 14:36:020000口碑翻转,Pika 1.0试用效果折服一大票人,直呼「最佳视频生成器」
从陆续放出的Pika1.0生成视频来看,这次Runway真的迎来了一个强劲的竞争对手。上个月底,一个名为Pika1.0的视频生成AI模型在社交媒体上迅速流传开来,它能够生成和编辑各种风格的视频,比如3D动画、动漫、卡通和电影。0000AI输出是否受到言论保护?法律专家警告称这是危险的提议
**划重点:**1.🗣️一些美国法律专家认为大型语言模型(LLM)的输出受到第一修正案的保护,但法律专家PeterSalib表示这将带来灾难性后果。2.🤯Salib担心,如果GPT-5等模型的输出被视为受到保护的言论,将难以监管这些系统,可能导致严重后果。3.🚫他提倡对AI输出进行合理监管,强调法规应该关注输出内容本身,而不是过程,以规避潜在的危险。站长网2024-03-06 15:37:540000苹果宣布将于 2025 年实现在电池中使用 100% 再生钴
苹果公司发布新闻稿宣布「大大加快」其在设备中使用可再生材料的进程,包括一个全新的2025年目标:在所有苹果设计的电池中使用100%再生钴。此外,到2025年,苹果设备中的磁铁将完全使用再生稀土元素,所有苹果设计的印刷电路板将使用100%再生锡焊料和100%再生镀金。站长网2023-04-14 09:34:290000