FastGen

划重点:-⭐FastGen一种高效的技术，可以提高LLM的推理效率，而不会降低可见质量。-⭐FastGen轻量级模型分析和自适应键值缓存来实现。-⭐FastGen通过自适应的键值缓存构造来少生成推理过程中的GPU内存使用量。