首个开源MoE大模型发布!7Bx8个专家,离GPT-4最近的一集
“取消今晚所有计划!”,许多AI开发者决定不睡了。
只因首个开源MoE大模型刚刚由Mistral AI发布。
MoE架构全称专家混合(Mixture-of-Experts),也就是传闻中GPT-4采用的方案,可以说这是开源大模型离GPT-4最近的一集了。
没有发布会、没有宣传视频,只靠一个磁力链接,就产生如此轰动效果。
具体参数还得是网速快的人下载完之后,从配置文件里截图发出来的:
7B参数x8个专家,对每个token选择前两个最相关的专家来处理。
以至于OpenAI创始成员Karpathy都吐槽,是不是少了点什么?
怎么缺了一个那种排练很多次的专业范视频,大谈特谈AI变革啊。
至于吐槽的是谁,懂得都懂了。
以及他还解释了为什么AI社区这几天如此活跃:最大的深度学习会议NeurIPS即将在下周开启。
MoE,开源大模型新阶段?
为何这款开源MoE模型如此受关注?
因为其前身Mistral-7B本来就是开源基础模型里最强的那一档,经常可以越级挑战13B、34B。
并且Mistral-7B以宽松的Apache-2.0开源协议发布,可免费商用,这次新模型很可能沿用这个协议。
在多个评测排行榜上,基于Mistral-7B微调的Zephyr-7B-beta都是前排唯一的7B模型,前后都是规模比他大得多的模型。
LLMSYSChatbot Arena上,Zephry-7B-beta目前排第12。
AlpacaEval上,也排到第15。
目前这个新的MoE模型连个正式名字都还没有,社区一般称呼它为Mistral-7Bx8MoE。
但在大家期待的期待中,新MoE模型对比单体Mistral-7B的提升幅度,就应该像GPT-4对比GPT-3.5那样。
但是注意了,有人提醒大家MoE对于本地运行来说不是太友好,因为更占内存
但更适合部署在云端,跨设备专家并行,给公司处理并发需求带来成本优势。
行动比较快的公司是前PyTorch成员出走创办的fireworks.ai。
第一次尝试、没有任何优化的情况下,需要两张80GB内存的卡,优化版本即将推出。
Replicate上也有了可试玩版本,简单试用发现中文水平也不错。
其实Mistral AI也为大家准备了官方配套代码,使用了斯坦福去年发布的轻量级MoE库Megablocks。
创始人:小模型支持更多有意思的应用
Mistral AI由前DeepMind、前Meta科学家创办。
刚刚完成一轮4.87亿美元的新融资,最新估值逼近20亿美元,已晋升独角兽。
三位联合创始人中,CEOArthur Mensch此前在DeepMind巴黎工作。
CTOTimothée Lacroix和首席科学家Guillaume Lample则在Meta共同参与过Llama系列的研发,Lample是通讯作者之一。
Arthur Mensch曾在接受采访时谈到,让模型变小是支持Agent发展的路径之一。
如果能把计算成本降低100倍,就能构建起更多有意思的应用。
Mistral AI成立于今年5月,种子轮融资1.13亿美元。
9月底,Mistral AI以磁力链接的形式发布第一个开源模型Mistral-7B,当时很多开发者试用后都觉得Llama-2不香了。
12月初,Mistral AI再次甩出开源MoE模型磁力链接,再次掀起一波热潮。
这就是公司官号仅有的几次发言。
不少人都拿来和最近谷歌的过度宣传做对比。
最新的梗图:磁力链接就是新的arXiv。
参考链接:
[1]https://x.com/MistralAI/status/1733150512395038967?s=20
[2]https://github.com/mistralai/megablocks-public
[3]https://replicate.com/nateraw/mixtral-8x7b-32kseqlen
小米王腾:Redmi Note 13系列本月发布
小米王腾透露,本月将推出一款备受期待的新品——RedmiNote13系列。在这次预告中,王腾也透露了自己担任Redmi品牌发言人以及Redmi市场部总经理的新角色。站长网2023-09-11 10:18:470000高通将与恩智浦、博世等多家公司联合开发开源RISC-V架构
8月5日消息,据外媒报道,根据一份声明,在高通首席执行官(CEO)克里斯蒂亚诺·阿蒙(CristianoAmon)的领导下,高通将与恩智浦、北欧半导体公司(NordicSemiconductor)、英飞凌和博世合作,开发和推广用于芯片设计的开源RISC-V架构。站长网2023-08-05 19:35:240000京东:双11“一键价保”已为用户节省4.28亿元
根据京东官方最新的数据显示,自10月23日晚8点至11月7日0点,一键价保服务已经为用户节省了高达4.28亿元。今年双11期间,有超过8亿款商品参与了全程价保活动,这意味着更多的消费者能够在这个过程中享受到京东的这一优质服务。申请价保的方式也极其简单,消费者只需在京东首页搜索框输入“价保”关键词,进入价格保护界面,点击“一键价保”即可。站长网2023-11-08 14:22:280000科大讯飞「讯飞星火认知大模型」官方网站上线:5 月 6 日举行成果发布会
科大讯飞今天上线放下大模型官方页面,宣布讯飞星火认知大模型将在5月6日14点举行成果发布会。据官方介绍,通过海量文本、代码和知识的学习,讯飞星火拥有跨领域的知识和语言理解能力,能够基于自然对话方式理解与执行任务。站长网2023-04-24 17:23:320002滴滴:端午节前晚高峰每分钟超10万人同时打车 每秒1700人
2023年端午小长假,出行热度持续高涨。6月21日出行晚高峰时段,滴滴每分钟的打车呼叫量突破了10万单,每秒平均1700人同时叫车。打车量大增的原因为,假期出游和异地欢聚需求旺盛,6月22日端午假期首日,滴滴往返机场、火车站等交通枢纽的打车需求相比节前上涨70%,搭乘滴滴顺风车的订单相比节前翻1倍。站长网2023-06-24 14:17:060000