知识蒸馏

随着LLM的突破性工作逐渐放缓，对于如何让更多人使用LLM成为时下热门的研究方向，模型压缩可能是LLM未来的一个出路。此前OpenAI首席科学家IlyaSutskever表示可以通过压缩的视角来看待无监督学习。本文首次总结了关于LLM的四种模型压缩方法，并提出了未来进一步研究的可能方向，引人深思。