昆仑万维宣布开源 2 千亿稀疏大模型 Skywork-MoE
2024年6月3日,昆仑万维宣布开源了一个性能强劲的2千亿稀疏大模型,名为 Skywork-MoE。这个模型是在之前开源的 Skywork-13B 模型的基础上扩展而来的,是首个完整应用并落地 MoE Upcycling 技术的开源千亿级 MoE 大模型。同时,这也是全球首个支持在单台4090服务器上进行推理的开源千亿级 MoE 大模型。
Skywork-MoE 的模型权重、技术报告完全开源,可以免费商用,无需申请。模型的总参数量为146B,激活参数量为22B,共有16个 Expert,每次激活其中的2个 Expert。与其他主流模型相比,在相同的激活参数量下,Skywork-MoE 的性能接近70B 的 Dense 模型,推理成本下降了近3倍。
为了解决 MoE 模型训练困难、泛化性能差等问题,Skywork-MoE 采用了两种训练优化算法:Gating Logits 归一化操作和自适应的 Aux Loss。此外,为了高效进行大规模分布式训练,Skywork-MoE 提出了两个并行优化设计:Expert Data Parallel 和非均匀切分流水并行。
在推理方面,Skywork-MoE 是目前能够在8台4090服务器上进行推理的最大开源 MoE 模型。通过首创的非均匀 Tensor Parallel 并行推理方式,在 FP8量化下,Skywork-MoE 可以实现2200tokens/s 的吞吐。
•模型权重下载:
○https://huggingface.co/Skywork/Skywork-MoE-base
○https://huggingface.co/Skywork/Skywork-MoE-Base-FP8
•模型开源仓库:https://github.com/SkyworkAI/Skywork-MoE
•模型技术报告:https://github.com/SkyworkAI/Skywork-MoE/blob/main/skywork-moe-tech-report.pdf
•模型推理代码:(支持8x4090服务器上8bit 量化加载推理) https://github.com/SkyworkAI/vllm
微软高管:Bing 聊天机器人每年可能会更新三次新模型
微软广告和网络服务负责人MikhailParakhin表示,Bing聊天机器人每年可能会更新三次新模型。新模型的更新通常会为这些生成式人工智能聊天机器人引入新功能。过去的更新曾经为Bing聊天机器人的创意模式引入了更好的答案格式。站长网2023-05-10 09:20:520000上海人工智能实验室最新项目PIA放出演示 可将写实照片转换成3D动漫效果
上海人工智能实验室最新的项目PIA已经放出演示,该项目通过文本控制图片中的内容来生成视频。可以看到,它可以将写实的照片转换成偏3D动漫的效果。小编实测,生成速度还挺快的,几十秒就完成了,效果还可以,人物会有一些小瑕疵。据悉,PIA的核心功能不仅仅局限于图像动画,更包括个性化定制的服务。用户可以根据自己的需求定制图像动画效果,让用户能够通过图像传达自己独特的故事和情感。站长网2023-12-27 10:59:490001CMA松口,微软终于能将动视暴雪“娶回家”了
折腾了一年多时间的微软收购动视暴雪终于落下了帷幕,当地时间9月22日,英国竞争和市场管理局(CMA)方面宣布,动视暴雪向育碧出售云游戏版权解决了此前的担忧,并为这一交易获得批准打开了大门。目前CMA虽然还对新协议存在有限的担忧,但微软方面也提出了临时补救措施,大概率能够解决这些问题。站长网2023-10-01 21:51:120001阿里达摩院确认:旗下量子实验室已赠予浙江大学
快科技11月26日消息,据媒体报道,阿里巴巴达摩院相关人士表示,达摩院已将量子实验室及量子实验仪器设备捐赠予浙江大学,并向其他高校和科研机构进行开放。其表示:为了进一步推动量子科技协同发展,达摩院联合浙江大学发展量子科技,达摩院将量子实验室及可移交的量子实验仪器设备捐赠予浙江大学,并向其他高校和科研机构进行开放。”0000