登陆注册

32k上下文追平GPT

  • 羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品

    开源羊驼大模型LLaMA上下文追平GPT-4,只需要一个简单改动!MetaAI这篇刚刚提交的论文表示,LLaMA上下文窗口从2k扩展到32k后只需要小于1000步的微调。与预训练相比,成本忽略不计。扩展上下文窗口,就意味着AI的“工作记忆”容量增加,具体来说可以:支持更多轮对话,减少遗忘现象,如更稳定的角色扮演输入更多资料完成更复杂的任务,如一次处理更长文档或多篇文档
    站长网2023-06-29 12:13:36
    0001