推理系统吞吐量提高近30倍

田渊栋团队最新发表的论文解决了大型语言模型在实际部署中遇到的内存和输入长度限制的问题，将推理系统的吞吐量提高了近30倍。论文提出了一种实现KV缓存的新方法，通过识别和保留重要的tokens，显著减少了内存占用，并在长输入序列的任务中表现良好。