Intel研究人员提出新AI方法,更高效地在CPU上部署LLM
**划重点:**
- 🌐 大型语言模型(LLM)因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎,但其庞大的模型参数却需要大量内存和专用硬件。
- 🧮 为了降低推断所需的计算功率,Intel的研究人员提出了一种有效的方法,支持自动的INT-4权重量化流程,可以在CPU上高效部署LLM。
- ⚙️ 他们还设计了一个特定的LLM运行时,具有高度优化的内核,加速CPU上的推断过程。
大型语言模型(LLM)因其在文本生成、语言理解和文本摘要等各种任务中的卓越性能而备受瞩目,但它们庞大的模型参数却需要大量内存和专用硬件,这使得部署这些模型变得相当具有挑战性。
为了降低推断所需的计算功率,研究人员通常采用权重量化等方法,即减少人工神经网络的权重和激活函数的精度。其中,INT8和仅权重量化是一些改进推断成本的方法。然而,这些方法通常针对CUDA进行优化,可能不适用于CPU。
Intel研究人员提出了一种有效的方法,可以在CPU上高效部署LLM。他们的方法支持自动的INT-4仅权重量化流程,即将低精度应用于模型的权重,而将激活函数的精度保持较高。此外,他们设计了一个特定的LLM运行时,具有高度优化的内核,可以加速CPU上的推断过程。
他们的权重量化流程基于Intel神经压缩器,并允许在不同的量化配方、粒度和组大小上进行调整,以生成满足准确性目标的INT4模型。然后,将模型传递给LLM运行时,这是一个专门设计用于评估量化模型性能的环境。该运行时已经设计用于在CPU上高效推断LLM。
在他们的实验中,研究人员选择了一些参数大小不同的流行LLM,范围从7B到20B。他们使用开源数据集评估了FP32和INT4模型的性能。他们观察到,在所选数据集上,量化模型的准确性几乎与FP32模型相当。此外,他们对下一个标记生成的延迟进行了比较分析,并发现LLM运行时比ggml-based解决方案性能提高了多达1.6倍。
研究论文提出了解决LLM推断在CPU上的一个最大挑战的方法。传统上,这些模型需要像GPU这样的专用硬件,这使它们对许多组织来说不可及。这篇论文提出了INT4模型量化以及专门的LLM运行时,以在CPU上高效推断LLM。
在一组流行的LLM上进行评估时,该方法表现出比ggml-based解决方案更具优势,并且在准确性上与FP32模型相当。然而,还有进一步改进的空间,研究人员计划推动在个人计算机上实现生成式人工智能,以满足对人工智能生成内容不断增长的需求。
项目网址:https://github.com/intel/intel-extension-for-transformers
OpenAI:目前ChatGPT和API仍不稳定 会出现周期性中断
今日9点30分左右,OpenAI在官方网站再次更新了事故报告。OpenAI指出,目前ChatGPT和API服务仍然可能会出现周期性中断。站长之家了解到,昨日晚间,OpenAI的ChatGPT和API服务出现了严重的中断故障,导致用户和开发者无法正常使用相关服务。对于这次事故,OpenAI表示他们正在全力以赴地研究和修复这个问题。就在今日凌晨,OpenAI表示,已修复了上述问题。站长网2023-11-09 10:32:140000恒大汽车获中东资本5亿美元战略投资
8月14日,恒大汽车发布公告,获得总部位于阿联酋迪拜的纽顿集团约5亿美元战略投资。恒大汽车表示,此次牵手中东资本,将有效解决恒大汽车发展面临的资金难题。恒大汽车将凭借先进的技术积累、智能化的制造基地、过硬的产品品质以及全球化的供应链体系,全力推进恒驰5生产销售,迅速占领市场,并进一步推进恒驰6、恒驰7等新车型的研发及量产。站长网2023-08-15 08:28:550000报告显示:90% 的印度互联网用户已在使用人工智能
划重点:⭐️印度有9亿互联网用户,其中90%正在采用人工智能技术⭐️年龄在45岁以上的人群也在广泛接受人工智能技术,使用率达81%⭐️AI在教育领域的应用,印度政府也在小城市推动解决相关挑战站长网2024-04-26 04:10:490000OpenAI:意大利恢复ChatGPT服务
据国外媒体报道,4月28日意大利数据监管机构和OpenAI证实,OpenAI研发的聊天机器人应用ChatGPT已解决监管机构提出的问题,可以在该国继续提供服务。在一个月前的3月31日,意大利数据保护局(Garante)宣布暂停ChatGPT,并展开调查,指控其涉嫌违反隐私规定。站长网2023-05-12 20:36:040000LinkedIn正测试用微软的AI艺术生成器来设计帖子
本文要点:1.LinkedIn正在测试将MicrosoftDesigner整合到其平台上,使用户能够在LinkedIn上创建独特的视觉内容。2.MicrosoftDesigner是微软推出的一个与Canva竞争的平台,用户可以通过它生成独特的视觉资产。站长网2023-08-03 16:40:100000