大模型推理效率无损提升3倍

要点:EAGLE由滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布，将大模型推理效率提升3倍。EAGLE采用外推大语言模型的第二顶层特征向量的方法，相较于普通自回归解码，其推理速度提升明显，比普通自回归解码快3倍，比Lookahead解码快2倍，比Medusa解码快1.6倍。