超强大模型DEJAVU

要点:DEJAVU是一个系统，采用一种经济高效的算法，结合异步和硬件感知实施，动态预测每一层的上下文稀疏性，从而提高大型语言模型（LLM）的推断速度。研究团队通过引入上下文稀疏性的概念，动态修剪特定的注意力头和MLP参数，而无需改变预训练模型，以提高LLM在具有严格延迟约束的应用中的效率。