更高效地在CPU上部署LLM

**划重点:**-🌐大型语言模型（LLM）因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎，但其庞大的模型参数却需要大量内存和专用硬件。-🧮为了降低推断所需的计算功率，Intel的研究人员提出了一种有效的方法，支持自动的INT-4权重量化流程，可以在CPU上高效部署LLM。-⚙️他们还设计了一个特定的LLM运行时，具有高度优化的内核，加速CPU上的推断过程。