大模型无限流式输入推理飙升46

要点:1.国产开源项目SwiftInfer实现了无限流式输入推理，提升46%推理性能;2.围绕流式超多轮对话，文章详细解释了StreamingLLM的attentionsink注意力机制，窗口注意力优化、KVCache机制优化等方法的原理和优势;3.团队成功将StreamingLLM方法与TensorRT推理优化结合，带来46%的推理吞吐速度提升。