解决大语言模型灾难性遗忘问题

要点:1.南加州大学和GoogleResearch提出了通道式轻量级重编码（Channel-wiseLightweightReprogramming）方法，用于解决持续学习问题，通过在固定任务不变的模型背骨干中添加轻量级可训练模块，对每层通道的特征图进行重编程，以适应新任务，仅占0.6%的额外参数。