Colossal

要点:1.国产开源项目SwiftInfer实现了无限流式输入推理，提升46%推理性能;2.围绕流式超多轮对话，文章详细解释了StreamingLLM的attentionsink注意力机制，窗口注意力优化、KVCache机制优化等方法的原理和优势;3.团队成功将StreamingLLM方法与TensorRT推理优化结合，带来46%的推理吞吐速度提升。

要点:1、通过词表扩充、数据筛选和多阶段训练策略，在15小时内用几千元成本训练出中文版LLaMA2。2、中文版LLaMA2在多项中文任务上的表现明显提升，达到同规模模型的先进水平。3、构建流程、代码和权重均开源，可迁移应用到其他语言和领域，实现低成本大模型训练。