四行代码让大模型上下文暴增3倍

无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍!而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。有了这项技术，大模型（LargeLM）就能摇身一变，成为LongLM。近日，来自得克萨斯农工大学等机构的华人学者们发布了全新的大模型窗口扩展方法SelfExtended（简称SE）。