开源大模型长度再创新高

要点:长颈鹿是基于LLaMA模型打造的，上下文长度达到32k，是目前开源大模型中最长的。研发团队Abacus.AI通过测试不同的上下文外推方法，发现线性插值效果最好，并在此基础上提出了PowerScaling和TruncatedBasis两种新思路。尽管Abacus.AI宣称长颈鹿是首个32k开源模型，但Together.AI更早发布了类似规模的版本，两者可以说并列第一。