昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE 性能强劲成本更低
在大模型技术迅速发展的背景下,昆仑万维公司开源了一个具有里程碑意义的稀疏大型语言模型Skywork-MoE。这个模型不仅在性能上表现出色,而且还大幅降低了推理成本,为应对大规模密集型LLM带来的挑战提供了有效的解决方案。
Skywork-MoE模型特点:
开源和免费商用:Skywork-MoE的模型权重、技术报告完全开源,且免费商用,无需申请。
推理成本降低:该模型在保持性能强劲的同时,大幅降低了推理成本。
稀疏模型:Skywork-MoE是一个专家混合模型(MoE),通过将计算分配给专门的子模型或“专家”,提供了一种经济上更可行的替代方案。
支持单台4090服务器推理:是首个支持用单台4090服务器推理的开源千亿MoE大模型。
技术细节:
模型权重和开源仓库:模型权重可在Hugging Face上下载,开源仓库位于GitHub。
推理代码:提供了支持8x4090服务器上8bit量化加载推理的代码。
性能:在8x4090服务器上,使用昆仑万维团队首创的非均匀Tensor Parallel并行推理方式,Skywork-MoE可以达到2200tokens/s的吞吐量。
模型性能和技术创新:
参数量:Skywork-MoE的总参数量为146B,激活参数量22B,共有16个Expert,每个Expert大小为13B。
性能对比:在相同的激活参数量下,Skywork-MoE的能力在行业前列,接近70B的Dense模型,推理成本有近3倍的下降。
训练优化算法:Skywork-MoE设计了两种训练优化算法,包括Gating Logits归一化操作和自适应的Aux Loss,以解决MoE模型训练困难和泛化性能差的问题。
大规模分布式训练:
Expert Data Parallel:提出了一种新的并行设计方案,可以在Expert数量较小时高效地切分模型。
非均匀切分流水并行:提出了非均匀的流水并行切分和重计算Layer分配方式,使得计算/显存负载更均衡。
实验和经验规则:
Scaling Law实验:探究了影响Upcycling和From Scratch训练MoE模型好坏的约束。
训练经验规则:如果训练MoE模型的FLOPs是训练Dense模型的2倍以上,则选择From Scratch训练MoE更好;否则,选择Upcycling训练MoE可以减少训练成本。
Skywork-MoE的开源为大模型社区带来了一个强大的新工具,有助于推动人工智能领域的发展,特别是在需要处理大规模数据和计算资源受限的场景中。
项目页:https://top.aibase.com/tool/skywork-moe
模型下载地址:https://huggingface.co/Skywork/Skywork-MoE-Base
Mujoco3开源:物理仿真器速度更快 稳定性大大提高
DeepMind宣布最新版本的MuJoCo3,该版本引入了加速硬件支持,对CPU进行了性能和内存占用的改进,以及更多灵活的碰撞原语。MuJoCo3支持通过新的MuJoCoXLA(MJX)模块进行加速模拟,可以在GoogleCloudTPU或自有加速硬件上以每秒数百万步的速度运行MuJoCo模拟。MJX通过运行在专门的硬件上,提供独特的性能特点,但可能需要一些模型调整。站长网2023-10-20 10:07:250001谷歌内部测试YouTube游戏产品,以进军游戏领域
据国外媒体报道,谷歌正在内部测试一款名为Playables的新YouTube产品,让用户在移动设备或桌面电脑上玩游戏。该产品将为YouTube在在线游戏领域拥有更大的影响力,而首席执行官NealMohan正在寻求新的增长领域。站长网2023-06-26 12:31:590000Midjourney推出了新的“Pan”功能,用于无缝图像扩展
近日,AI图像生成平台Midjourney刚刚推出了“pan”功能,允许用户以更吸引人的方式无缝扩展和探索他们的图像。这项新功能通过在屏幕下方添加箭头按钮来实现。点击这些箭头将在选定的方向展开图像,有效地“平移”图像。结果仍然可能有点奇怪,它将长宽比更改为1:1。因此,如果你只是想看到更多的图像,缩小似乎是更好的选择。后续Midjourney可能很快会改进平移功能。向下平移缩小站长网2023-07-05 18:20:130006南澳大利亚将在八所高中学校试用ChatGPT类型AI聊天机器人
南澳大利亚的八所公立高中将成为该国首批试验人工智能(AI)应用程序的学校。南澳政府希望帮助学生在人工智能日益普及的同时,培养他们保护自己在线上的技能。这款应用程序将向学生展示人工智能如何支持他们的学习,同时保护他们免受可能对他们构成风险的信息。该聊天机器人是与微软合作设计的,并使用与ChatGPT相同的技术构建而成。站长网2023-07-05 18:20:260001人类起源于非洲多个祖先种群
站长网2023-05-25 04:39:490000