登陆注册

Intel研究人员提出新AI方法

  • Intel研究人员提出新AI方法,更高效地在CPU上部署LLM

    **划重点:**-🌐大型语言模型(LLM)因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎,但其庞大的模型参数却需要大量内存和专用硬件。-🧮为了降低推断所需的计算功率,Intel的研究人员提出了一种有效的方法,支持自动的INT-4权重量化流程,可以在CPU上高效部署LLM。-⚙️他们还设计了一个特定的LLM运行时,具有高度优化的内核,加速CPU上的推断过程。
    站长网2023-11-10 14:46:57
    0001