可将LLM推理速度提高2倍

来自普林斯顿、UIUC等机构的华人团队提出一个用于加速大型语言模型（LLM）推理速度的简单框架Medusa，并于9月12日开源发布。测试结果显示，Medusa可以将LLM的生成效率提高约2倍。