马斯克烧60亿美元难题,国内大厂有解?开源MoE模算效率黑马登场,3.7B参数单挑Llama 3-70B
【新智元导读】马斯克最近哭穷表示,xAI需要部署10万个H100才能训出Grok3,影响全球的大模型算力荒怎么解?昨天开源的这款MoE大模型,只用了1/19算力、1/19激活参数,性能就直接全面对标Llama3-70B!
如今,想训个SOTA的大模型,不仅缺数据和算力,甚至连电都不够用了。
最近马斯克就公开表示,因为苦于买不到足够的芯片,xAI只能推迟Gork2的训练和发布。
Grok3及更高版本,甚至需要10万个H100,按每台H100售价3万美元来算,仅芯片就要花掉28亿美元。
而且在未来几年,xAI在云服务器上可能就要花费100亿美元,直接逼得马斯克自谋生路,开建起自己的「超级计算工厂」。
那么问题来了,有没有一种可能,只用更少的算力,就让大模型实现更高的性能?
就在5月28日,浪 潮信息给业界打了个样——全面开源MoE模型「源2.0-M32」!
简单来说,源2.0-M32是一个包含了32个专家(Expert)的混合专家模型,总参数量达到了400亿,但激活参数仅37亿。
![](https://i.zz5.net/images/article/2024/05/29/192523149.jpg)
开源项目地址:https://github.com/IEIT-Yuan/Yuan2.0-M32
基于算法、数据和算力方面的全面创新,源2.0-M32的模型性能得到了大幅提升,一句话总结就是:模更强,算更优!
在业界主流的基准评测中,它的性能也能直接全面对标Llama3-70B!
32个小模型,挑战700亿Llama3巨兽
话不多说,先看跑分:
![](https://i.zz5.net/images/article/2024/05/29/192523165.png)
直观可见,在MATH和ARC-Challenge基准测试中,源2.0-M32的准确率分别为55.89和95.8,超过了Llama3-70B。
甚至在编码、MMLU中,M32实现了与Llama3-70B相当的性能。
在代码生成任务中,源2.0-M32的性能仅次于DeepseekV2和Llama3-70B,并远远超过其他模型。
与DeepseekV2相比,M32模型每个token使用的激活参数不到其1/4,计算量不足其1/5,而准确率达到其90%以上的水平。
而与Llama3-70B相比,模型激活参数和计算量的差距更大,但M32仍达到了其91%的水平。
在代码能力上,源2.0-M32不仅通过了近3/4的HumananEval测试题,而且在经过14个样本的学习之后,准确率更是提升到了78%。
![](https://i.zz5.net/images/article/2024/05/29/192523180.jpg)
![](https://i.zz5.net/images/article/2024/05/29/192523211.jpg)
就数学任务结果来看,源2.0-M32在MATH基准测试中得分最高。
与Mixtral-8×7B相比,M32的激活参数只有它的约0.29倍,但性能却高出了近一倍。
在GSM8K基准上,M32的性能与Llama3-70B非常接近,并且超过了其他模型。
![](https://i.zz5.net/images/article/2024/05/29/192523227.jpg)
比如在回答「100-200之间,所有7的倍数的和是多少」的问题中,M32和Llama3-70B的PK结果如下。
因为对中文理解上的优势,M32成功给出了正确答案,而Llama3-70B就不幸翻车了。
![](https://i.zz5.net/images/article/2024/05/29/192523258.jpg)
当然,面对英文的数学题,M32也没在怕的。
注意,这道题的题干中提出了一个要求——分母应该是有理数,M32非常准确地获知了这一点,因而把1/√3变成了√3/3。
这就有点意思了。
![](https://i.zz5.net/images/article/2024/05/29/192523259.jpg)
下面这道题,要求计算997的的逆元,也即使997乘以某个数,让它对100的求余为1。
源2.0-M32非常准确地理解了这个过程,而且通过一步步的迭代,准确地求解出了一个具体数值。
而看这边的Llama3-70B,很明显就没有理解题干,也没有构建出准确的求解关系,结果也是错的。
![](https://i.zz5.net/images/article/2024/05/29/192523290.jpg)
在多语言测试MMLU中,源2.0-M32的表现虽然不及规模更大的模型,但优于Mixtral-8×7B、Phi-3-mini和Llama3-8B。
![](https://i.zz5.net/images/article/2024/05/29/192523305.jpg)
最后,在推理挑战中,源2.0-M32在解决复杂科学问题方面表现出色,同样超越了Llama3-70B。
![](https://i.zz5.net/images/article/2024/05/29/192523321.jpg)
创新的架构和算法
源2.0-M32研发的初衷,就是为了大幅提升基础模型的模算效率。
为了提升模型能力,很多人都会沿用当前的路径,但在浪 潮信息看来,要让模型能力真正快速提升,就一定要从算法层面、从模型架构层面做探索和创新。
从模型名字中便可以看出,源2.0-M32是基于「源2.0」模型构建的,是包含32个专家的MoE模型。
它沿用并融合局部过滤增强的注意力机制(Localized Filtering-based Attention),通过先学习相邻词之间的关联性,然后再计算全局关联性的方法,更好地学习到了自然语言的局部和全局的语言特征。
![](https://i.zz5.net/images/article/2024/05/29/192523352.jpg)
因此,它对于自然语言的关联语义理解更准确,模型精度就得到了提升。
![](https://i.zz5.net/images/article/2024/05/29/192523368.jpg)
论文地址:https://arxiv.org/pdf/2405.17976
图1左展示了「源2.0」架构通过引入MoE层实现模型Scaling,其中MoE层取代了源2.0中的前馈层。
图1右放大显示了M32的MoE层的结构,每个MoE层由一组单独的密集前馈网络(FFN)作为专家组成。
专家之前的门控网络将输入的token,分配给总共32个相关的专家中的2个(图中以4个专家做为示例)。
![](https://i.zz5.net/images/article/2024/05/29/192523399.jpg)
源2.0-M32结构示意图,其中MoE层取代了源2.0中的前馈层
其中,选择32个专家的原因是,比起8个、16个专家,32个专家的训练损失最低,效果最好。
![](https://i.zz5.net/images/article/2024/05/29/192523414.jpg)
最终,虽然在推理过程中,32个专家每次只激活2个,激活参数只有37亿,但是M32在处理逻辑、代码方面,精度可以对标Llama3-70B。
全新门控网络AttentionRouter
在LFA之后,针对MoE结构中核心的门控网络,团队做了另外一个算法创新。
需要明确的是,混合专家模型由两个核心部分组成:一是门控网络(Gate),二是若干数量的专家(Expert)。
这当中,「门控机制」起着最关键的作用。
它通常会采用神经网络,根据输入的数据特征,为每个专家模型分配一个权重,从而决定哪些专家模型对当前任务更为重要。
简言之,通过计算token分配给各个专家的概率,来选择候选专家参与计算。
![](https://i.zz5.net/images/article/2024/05/29/192523431.jpg)
显然,门控网络的选择机制,对于模型的推理能力、运行效率起着关键的作用。
当前,流行的MoE结构大都采用简单的调度策略——将token与代表每个专家的特征向量进行点积,随后挑选点积结果最大的专家。
然而,这一方法的弊端是,只将各个专家特征向量视为独立的,进而忽略了它们之间的相关性,无疑会降低模型的精度。
为了攻克这一难题,源2.0-M32创新性提出了新型的算法结构:基于注意力机制的门控网络(Attention Router),创造了一种专家间协同性的度量方法。
![](https://i.zz5.net/images/article/2024/05/29/192523462.jpg)
新策略可以在计算过程中,将输入样本中任意两个token,通过一个计算步骤直接联系起来。
这样一来,就可以解决传统的门控机制中,选择两个或多个专家参与计算时关联性缺失的问题。
最终选择的时候,这种策略选择的专家不仅绝对数值会比较高,两个专家协同的时候,自身的属性也会更相似。
举个通俗易懂的栗子:
就好比在一个医院中,主任要去做手术,一定是选择自己最这个领域最专业、且自己最熟悉的组员,这样大家的配合程度才会更好。
果然,与经典路由结构的模型相比,Attention Router让LLM准确率提升了3.8%。
总之,Attention Router算法可以让使得专家之间协同处理数据的水平和效能大为提升,从而实现以更少的激活参数,达到更高的智能水平。
算力消耗只需700亿Llama3的1/19
算力层面,源2.0-M32综合运用了流水线并行 数据并行的策略,显著降低了大模型对芯片间P2P带宽的需求,为硬件差异较大训练环境提供了一种高性能的训练方法。
正是基于算法和算力上创新优化,源2.0-M32实现了在三个阶段——预训练、推理和微调过程中,超高的模算效率。
这一突破,让MoE模型性能媲美Llama3-70B,也显著降低了单token训练和推理所需的算力资源。
![](https://i.zz5.net/images/article/2024/05/29/192523477.jpg)
训练
在智能水平相当的情况下,源2.0-M32微调/训练时每token所需的算力资源最低——仅为22.2Gflops/token。
相比起Llama3-70B的420Gflops/token,源2.0-M32的需求只有其1/19。
推理
在相同条件下进行测试后可以发现,M32处理每token所需算力为7.4Gflops,而Llama3-70B所需算力为140Gflops。
也就是说,源2.0-M32的推理算力消耗也仅是Llama3-70B的1/19。
微调
在微调阶段,M32只需消耗约0.0026PD(PetaFlops-Day),就可以完成对1万条平均长度为1024token的样本进行全量微调,而Llama3则需消耗约0.05PD的算力。
更直观来讲,源2.0-M32在支持BF16精度的2颗CPU服务器上,约20小时即可完成这1万条样本的全量微调。
而同样条件之下的Llama3-70B,完成全量微调约为16天。
近50%训练数据都是代码
众所周知,丰富、全面、高质量的数据集,是LLM预训练核心。
这次,源2.0-M32使用了2万亿(2T)token进行训练。
且代码数据占比最高,几乎近一半(47.46%),而且从6类最流行的代码扩充至619类,并通过对代码中英文注释的翻译,将中文代码数据量增大至1800亿token,占比约8.0%。
此外,占比第二高的预料数据来自中英文互联网(25.18%),有效提升了模型的知识实时性与跨领域、跨语言应用效果。
之所以加入了如此之多的代码数据,是因为其本身就具有非常清晰的逻辑性。
当模型在海量的代码数据上完成「高强度」训练之后,不仅可以在代码生成、代码理解、代码推理上取得出色的表现,而且还能在逻辑推理、数据求解等方面获得可观的提升。
![](https://i.zz5.net/images/article/2024/05/29/192523493.jpg)
源2.0-M32的性能随着训练数据的增加而增强,且过程十分稳定
模更强,算更优,是终解!
可以看出,浪潮 信息的MoE模型,在榜单上基本上达到了Llama3的水平,甚至有些可以超越Llama3。
然而最大的不同,就是浪 潮信息显著降低了单个token在训练推理和微调过程中的算力消耗。
由此,大模型训练和应用过程中的门槛也随之降低,高智能水平的模型就能更顺利地普及到千行百业当中去。
浪 潮信息之所以选择攻坚这个问题,也是他们长期「深根沃土」,服务行业客户的深刻认知。
在浪 潮信息看来,如今大模型智能水平提升,但背后所面临的算力消耗,却大幅攀升!
对企业落地,是极大的困难和挑战。
由此,找到一种「模型水平高、算力门槛低」的技术方式就变得很重要。这也是我们在开头所想强调的「模算效率」。这个指标不仅是大模型创新的关键,也是企业真正应用大模型的关键。
为什么这么说?让我们来举个例子。
如果Llama3-70B的每个token推理是140GFlops,用这个实际精度除以每token的推理算力,就可以得到一个模型的算力效率。
结果显示,Llama3的模型精度很高,但推理时的算力开销将极大。这也就意味着,在单位算力下,它的相对精度是比较差的。
与之形成鲜明对比的,就是Mistral的8×7B模型。虽然它和Llama3有较大差距,但它激活专家的参数量较小,所以模算效率反而更高。
追求模算效率,因为它意义非常深远。
比如,一个5000亿的Dense模型,训练20T token的话,需要的算力开销是巨大的。因此,如果能获得很高的模算效率,我们就能在更多token上,训练更大参数的模型。
第二点,从推理上来说,模算效率也极有意义。企业类用户的推理都需要本地化部署,需要购买算力设备。
在这种情况下,给定精度水平下的推理回报就会显出差别。
比如Mistral8×22B和Llama3-70B,二者的精度差别虽然不大,但前者的模算效率就会很高,
此前,业内更加关注的是单个维度,即平均精度的提升。
而在大模型进入快速落地的当下,我们显然就需要从模算效率上来考虑精度和开销了。
此外,模算效率的提升也让LLM微调的门槛和成本大幅降低,这就能让高智能模型更加易于企业应用开发,实现智能落地。
尤其是考虑到现在,「微调」已成企业应用大模型的关键环节。
因为它能结合特定业务场景和专业数据对LLM完成优化,帮助LLM在专用场景中提高生成准确性、可解释性,改善「幻觉」问题。
一如既往,全面开源
坚持开源,也是浪 潮信息一直以来的传统。
2021年,这家公司便开始布局大模型算法开发,同年首次发布了2457亿参数的「源1.0」中文语言大模型,并全面开源,在业界树立了千亿模型的新标杆。
值得一提的是,「源1.0」的MFU高达44%,可见算力利用率非常高。
而当时GPT-3的MFU只有22%,也就是说有近80%的算力被浪费掉了。
彼时的浪 潮信息团队还开源近5TB的中文数据集,在国内100 个大模型厂商中,有近50个LLM的训练中得到应用。
之后,历时近2年研发,2023年,浪 潮信息将千亿参数基础大模型从1.0升级到「源2.0」。
「源2.0」包含了三种参数规模,1026亿、518亿、21亿,并在代码编程、逻辑推理、数学计算等领域展现出领先的性能。
![](https://i.zz5.net/images/article/2024/05/29/192523508.jpg)
论文地址:https://arxiv.org/ftp/arxiv/papers/2311/2311.15786.pdf
这一次,升级后的2.0版本同样采取了「全面开放开源」的策略,全系列模型的参数、代码,均可免费下载和商用。
「源2.0」也在不断进行版本更新,并针对代码能力、数理逻辑、推理速度等方面完成深度优化。
浪 潮信息还提供了丰富的预训练、微调以及推理服务脚本,并与流行框架工具全面适配,比如LangChain、LlamaIndex等。
正如前面所述,「源2.0-M32」 将继续采用全面开源策略,又将给开源社区添砖增瓦,留下浓墨重彩的一笔。
首席科学家吴韶华表示,「当前业界大模型在性能不断提升的同时,也面临着所消耗算力大幅攀升的问题,这也对企业在落地应用大模型时带来了极大的困难和挑战」。
降低应用门槛
除了全面开源之外,浪 潮信息还通过发布方便可用的工具,进一步降低了大模型应用的门槛。
今年4月,企业大模型开发平台「元脑企智」(EPAI)正式推出,为企业LLM训练提供了更加高效、易用、安全的端到端开发工具。
从数据准备、模型训练、知识检索、应用框架等系列工具全覆盖,且支持多元算力和多模算法。
EPAI提供了非常丰富的基础数据,规模达1亿 ,同时提供自动化的数据处理工具,帮助行业伙伴和企业客户整理行业数据和专业数据,减少针对不同落地场景中出现的「幻觉」。
对于企业来说,甚至是企业小白用户,EPAI可以帮助他们高效部署开发AI应用,能够释放极大的商业价值。
如今,源2.0-M32也将集成到EPAI大模型库,帮助企业加快AI应用落地的步伐。
![](https://i.zz5.net/images/article/2024/05/29/192523524.jpg)
在算力愈发紧俏的当下,浪 潮信息用「模更强 算更优」的M32交出了答卷,让整个业内为之振奋。
接下来,我们等待它的更多惊喜!
参考资料:
https://github.com/IEIT-Yuan/Yuan2.0-M32
https://huggingface.co/IEITYuan/Yuan2-M32-hf
https://modelscope.cn/models/YuanLLM/Yuan2-M32-hf/summary
快手程一笑:快意大模型或在半年内达 GPT4.0 水平
今日,快手公司发布了其2023年第四季度及全年业绩报告,数据显示,快手在2023年全年实现了显著的收入增长,总收入高达1134.7亿元,同比增长了20.5%。更值得一提的是,经过调整后,快手的净利润首次突破了百亿元大关,达到了102.7亿元。站长网2024-03-21 23:19:580000爱奇艺二季度净赚3.65亿:VIP会员少了1700多万
8月22日消息,爱奇艺发布截至6月30日二季度未经审计财报,总营收78.02亿元,同比增长17%:归属于爱奇艺的净利润为3.65亿元,上年同期净亏损2.14亿元。该季度日均总订阅会员数为1.112亿,而2022年第二季度为9830万及2023年第一季度为1.289亿。这意味着爱奇艺VIP会员同比增加了1000多万,但环比减少1700多万的情况下,业绩反而在增长了,盈利能力大幅提升。站长网2023-08-22 21:43:040000谷歌大杀器终于来了,最大规模Gemini震撼发布:真超GPT4,三大版本,手机直接可用
时代变了?迄今为止规模最大,能力最强的谷歌大模型来了。当地时间12月6日,谷歌CEO桑达尔・皮查伊官宣Gemini1.0版正式上线。这次发布的Gemini大模型是原生多模态大模型,是谷歌大模型新时代的第一步,它包括三种量级:能力最强的GeminiUltra,适用于多任务的GeminiPro以及适用于特定任务和端侧的GeminiNano。站长网2023-12-07 09:14:290000“AI脱衣”应用横行 访问量剧增达2400万人次
**划重点:**1.📈2023年9月,使用人工智能将女性照片“脱衣”的应用和网站访问量激增,达到2400万人次。2.🌐这些“脱衣”服务通过社交媒体广告,其中广告链接在社交媒体上的增长超过2400%,引发对非同意深度伪造色情的担忧。3.⚖️随着AI技术进步,深度伪造软件变得更容易且更有效,导致普通人对普通目标进行此类行为,引发隐私和法律问题。00055小米开启换屏/电池折扣:79.2元换电池 5折换原厂屏
快科技7月1日消息,小米今天正式开启了暑假权益活动,多款机型可以支持5折换屏幕、8折换电池等活动。共提供五重服务权益,活动时间为2023年7月1日到7月7日,感兴趣的网友可以关注一下。其中,小米/米家空调延长两年质保服务最低为53元起;小米Redmi电视延长两年质保服务最低为41元起;米家洗衣机延长两年质保服务最低为29元起;小米/米家冰箱延长两年质保服务最低为29元起步。站长网2023-07-02 10:29:340000