登陆注册

大模型生成提速2倍

首页标签大模型生成提速2倍
  • 大模型生成提速2倍！单GPU几小时搞定微调，北大数院校友共同一作丨开源站长资讯

    大模型生成提速2倍！单GPU几小时搞定微调，北大数院校友共同一作丨开源

    只需给大模型“加点小零件”，推理速度立刻提升2倍!不需要额外训练一个模型，也不需要对计算硬件做优化，单张A100最快几小时就能微调完成。这项新研究名叫Medusa（美杜莎），来自普林斯顿、UIUC、CMU和康涅狄格大学，FlashAttention作者TriDao也在其中。目前，它已经成功部署到伯克利70亿参数的“骆马”Vicuna中，后续还会支持其他大模型，已经登上GitHub热榜:
    站长网2023-09-18 09:05:52
    0000
热点
关注
推荐