达3万个token

文章概要:1.研究人员扩展了开源LLaMA模型的上下文窗口，创建了Giraffe，上下文窗口扩大10倍，达到约32，000个标记。2.Giraffe适合需要处理数十页文本的商业应用，为大上下文语言模型研究提供了重要见解。3.该研究还强调了当前技术的局限性以及定制测试的必要性，当前不足以衡量长上下文表现，需要定制测试。