StreamingLLM

要点:1.Meta、麻省理工学院（MIT）和卡内基梅隆大学(CMU)的研究人员介绍了一项名为StreamingLLM的技术，旨在解决大型语言模型(LLMs)在长时间对话中性能下降的问题。2.StreamingLLM利用“attentionsinks”（关注点汇）的概念，通过在对话的不同阶段重新引入初始标记，使LLMs能够在无限长度的文本上保持高性能。