更便宜的大型语言模型压缩方法

要点:1.近年来，大型语言模型的发展迅猛，BERT成为其中最受欢迎和高效的模型，但其复杂性和可扩展性成为问题。2.为了解决这个问题，采用了知识蒸馏、量化和修剪等压缩算法，其中知识蒸馏是主要的方法，通过让较小的模型模仿较大模型的行为来实现模型压缩。