登陆注册

FastGen

  • FastGen:在不降低LLM质量的情况下降低GPU内存成本

    划重点:-⭐FastGen一种高效的技术,可以提高LLM的推理效率,而不会降低可见质量。-⭐FastGen轻量级模型分析和自适应键值缓存来实现。-⭐FastGen通过自适应的键值缓存构造来少生成推理过程中的GPU内存使用量。
    站长网2024-05-13 11:04:00
    0000