LLaMA微调显存需求减半

大模型的训练和微调对显存要求很高，优化器状态是显存主要开销之一。近日，清华大学朱军、陈键飞团队提出了用于神经网络训练的4比特优化器，节省了模型训练的内存开销，同时能达到与全精度优化器相当的准确率。4比特优化器在众多预训练和微调任务上进行了实验，在保持准确率无损的情况下可将微调LLaMA-7B的显存开销降低多达57%。论文:https://arxiv.org/abs/2309.01507