登陆注册

大模型推理效率无损提升3倍

  • 北京大学发布EAGLE 大模型推理效率无损提升3倍

    要点:EAGLE由滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布,将大模型推理效率提升3倍。EAGLE采用外推大语言模型的第二顶层特征向量的方法,相较于普通自回归解码,其推理速度提升明显,比普通自回归解码快3倍,比Lookahead解码快2倍,比Medusa解码快1.6倍。
    站长网2023-12-14 16:39:57
    0000