减少模型训练参数

要点:1.Nvidia的研究人员提出了一种名为Tied-LoRA的新技术，旨在改善低秩适应（LoRA）方法的参数效率。2.Tied-LoRA利用权重绑定和选择性训练，在性能和可训练参数之间寻找最佳平衡。3.在对不同任务和基础语言模型进行实验后，研究人员发现在效率和性能之间存在权衡，Tied-LoRA方法可以使用比标准LoRA方法少13%的参数获得相当的性能。