Shearing大模型剪枝法

给Llama2（羊驼）大模型剪一剪驼毛，会有怎样的效果呢?今天普林斯顿大学陈丹琦团队提出了一种名为LLM-Shearing的大模型剪枝法，可以用很小的计算量和成本实现优于同等规模模型的性能。

要点:1.陈丹琦团队开发了LLM-Shearing大模型剪枝法，可以将大型预训练模型剪枝至低成本，但高性能水平。2.剪枝方法将模型剪枝看作一种约束优化问题，同时学习剪枝掩码矩阵以最大化性能为目标。3.这种方法提供了一种有效的方式，可用于将剪枝后的模型继续预训练，最终超越从头开始预训练的模型。