清华提出4比特优化器 显著减少LLaMA微调的显存需求
站长网2023-09-08 14:05:230阅
要点:
1、针对优化器状态的量化方法,将优化器状态的数值精度降低至4比特
2、提出了针对一阶矩和二阶矩的量化策略,处理了零点问题等难点
3、在多个微调任务中达到全精度优化器的性能,同时可将LLaMA微调的显存需求减少超过50%
随着大模型规模的不断增大,显存需求成为模型训练的主要瓶颈之一。优化器状态中的一阶矩和二阶矩是占用大量显存的重要因素。为降低显存使用,清华大学朱军、陈键飞团队在ICLR2022的工作基础上,进一步将优化器状态的比特数降低到4比特,同时针对一阶矩和二阶矩的不同特点,提出了相应的量化策略。
项目地址:https://github.com/thu-ml/low-bit-optimizers
对于一阶矩,由于存在按行或列分布的异常值,提出采用更小的128大小的分块进行归一化。对二阶矩,确定零点问题是主要难点,去除零点的线性映射取得了很好效果,同时提出rank-1归一化更好地处理异常值。最后,提出了4比特AdamW和Factor两种低精度优化器。
在多个经典的微调任务中进行评估,结果表明4比特优化器能够匹配甚至超过32比特AdamW的性能。同时显著减少了优化器状态的显存需求,在LLaMA-7B的微调中最高可节省57.7%的显存。提供了开箱即用的PyTorch接口,只需要一行代码即可使用。
本研究工作展示了通过压缩的思路显著减少大模型微调中的显存瓶颈的可能性。同时优化器状态的低比特设计也为进一步探索内存高效的训练算法提供了有价值的经验。这些成果将促进大模型在有限硬件条件下的高效训练与应用。
0000
评论列表
共(0)条相关推荐
GitHub发布编程字体家族Monaspace 支持混合使用5款等宽字体
站长之家(ChinaZ.com)11月10日消息:近日,代码托管平台GitHub发布了一套名为Monaspace的开源编程字体家族。这套字体家族包含5种字体,分别是Neon、Argon、Krypton、Xenon和Radon。站长网2023-11-10 15:19:060000Redmi总经理王腾预告:今晚回应是否会推出红米汽车
快科技4月1消息,小米前不久宣布,卢伟冰兼任小米品牌总经理,以后小米手机发布会由他来主讲。与此同时,王腾接任Redmi品牌总经理,全面负责Redmi品牌的工作。王腾本人已经开始为新产品RedmiTurbo3预热,并表示将于今晚直播回答网友的问题。其中最后一项问题引起了大家的注意:Redmi会推出红米汽车吗?王腾将会在直播中对这个问题做出回应,将彻底结束大家的猜测。站长网2024-04-06 14:20:370000全球大火的Sora还没盈利 这些人已经实现日赚200万
Sora还未正式开放,卖课的已经盈利了。龙年春节期间,OpenAI发布了首款文生视频模型——Sora,仅需要文本即可自动生成一段长达60秒的高保真视频,这给业界带来不小的震撼,连马斯克都感叹“人类愿赌服输”,360创始人周鸿祎更是预言“AGI实现将从10年缩短到1年。”面对AI带来的机会,一些嗅觉灵敏的人开始着急赚钱。站长网2024-02-21 13:58:160000小米14 Ultra国际版即将登场!小米官网开启倒计时
小米官方近日宣布,备受瞩目的小米14系列手机将于2月25日在海外市场正式亮相。此次发布不仅涵盖小米14和小米14Pro,更有备受期待的小米14Ultra。小米官网已提前预热,小米14Ultra国际版即将登场。这款新机的设计细节和配置信息也逐渐浮出水面。据悉,小米14Ultra将采用2K居中单孔等深四曲屏,分辨率高达2K,为用户带来卓越的视觉体验。站长网2024-02-07 10:54:000000英特尔重返半导体行业第一!三星暴跌38%痛失霸主宝座
快科技1月29日消息,市场研究机构CounterpointResearch发布的2023全球半导体行业收入报告显示,英特尔重返收入第一,而三星则暴跌38%痛失霸主宝座。报告称,2023全年全球半导体行业的收入下降了8.8%,此外收入排名相比上一年也发生了变化,并且前10大半导体公司收入占全球收入的55%。站长网2024-01-29 20:05:350000