登陆注册

长颈鹿来袭

  • 32k上下文可商用!长颈鹿来袭,开源大模型长度再创新高

    要点:长颈鹿是基于LLaMA模型打造的,上下文长度达到32k,是目前开源大模型中最长的。研发团队Abacus.AI通过测试不同的上下文外推方法,发现线性插值效果最好,并在此基础上提出了PowerScaling和TruncatedBasis两种新思路。尽管Abacus.AI宣称长颈鹿是首个32k开源模型,但Together.AI更早发布了类似规模的版本,两者可以说并列第一。
    站长网2023-08-26 16:04:51
    0000