苹果开源7B大模型,训练过程数据集一口气全给了,网友:开放得不像苹果
苹果最新杀入开源大模型战场,而且比其他公司更开放。
推出7B模型,不仅效果与Llama38B相当,而且一次性开源了全部训练过程和资源。
![](https://i.zz5.net/images/article/2024/07/23/140241415.jpg)
要知道,不久前Nature杂志编辑Elizabeth Gibney还撰文批评:
许多声称开源的AI模型,实际上在数据和训练方法上并不透明,无法满足真正的科学研究需求。
而苹果这次竟然来真的!!
就连NLP科学家、AutoAWQ创建者也发出惊叹:
Apple发布了一个击败Mistral7B的模型,但更棒的是他们完全开源了所有内容,包括预训练数据集!
![](https://i.zz5.net/images/article/2024/07/23/140241446.jpg)
也引来网友在线调侃:
![](https://i.zz5.net/images/article/2024/07/23/140241461.jpg)
至于这次开源的意义,有热心网友也帮忙总结了:
对于任何想要从头开始训练模型或微调现有模型的人来说,数据管理过程是必须研究的。
![](https://i.zz5.net/images/article/2024/07/23/140241477.jpg)
当然,除了OpenAI和苹果,上周Mistral AI联合英伟达也发布了一个12B参数小模型。
HuggingFace创始人表示,「小模型周」来了!
![](https://i.zz5.net/images/article/2024/07/23/140241508.jpg)
卷!继续卷!所以苹果这次发布的小模型究竟有多能打?
效果直逼Llama38B
有多能打先不说,先来看Hugging Face技术主管刚“拆箱”的模型基础配置。
总结下来就是:
7B基础模型,在开放数据集上使用2.5T tokens进行训练
主要是英文数据,拥有2048tokens上下文窗口
数据集包括DCLM-BASELINE、StarCoder和ProofPile2
MMLU得分接近Llama38B
使用PyTorch和OpenLM框架进行训练
![](https://i.zz5.net/images/article/2024/07/23/140241540.jpg)
具体而言,研究团队先是提出了一个语言模型数据比较新基准——DCLM。
之所以提出这一基准,是因为团队发现:
由机器学习 (ML) 模型从较大的数据集中自动过滤和选择高质量数据,可能是构建高质量训练集的关键。
因此,团队使用DCLM来设计高质量数据集从而提高模型性能,尤其是在多模态领域。
其思路很简单:使用一个标准化的框架来进行实验,包括固定的模型架构、训练代码、超参数和评估,最终找出哪种数据整理策略最适合训练出高性能的模型。
![](https://i.zz5.net/images/article/2024/07/23/140241555.jpg)
基于上述思路,团队构建了一个高质量数据集DCLM-BASELINE,并用它从头训练了一个7B参数模型——DCLM-7B。
![](https://i.zz5.net/images/article/2024/07/23/140241586.jpg)
DCLM-7B具体表现如何呢?
结果显示,它在MMLU基准上5-shot准确率达64%,可与Mistral-7B-v0.3(63%)和Llama38B(66%)相媲美;并且在53个自然语言理解任务上的平均表现也可与Llama38B相媲美,而所需计算量仅为后者的1/6。
![](https://i.zz5.net/images/article/2024/07/23/140241618.jpg)
与其他同等大小模型相比,DCLM-7B的MMLU得分超越Mistral-7B,接近Llama38B。
![](https://i.zz5.net/images/article/2024/07/23/140241633.jpg)
最后,为了测试新数据集效果,有业内人士用卡帕西的llm.c训练了GPT-21.5B,来比较DCLM-Baseline与FineWeb-Edu这两个数据集。
![](https://i.zz5.net/images/article/2024/07/23/140241680.jpg)
结果显示DCLM-Baseline取得了更高的平均分,且在ARC(小学生科学问题推理)、HellaSwag(常识推理)、MMLU等任务上表现更好。
![](https://i.zz5.net/images/article/2024/07/23/140241696.jpg)
“小”模型成新趋势
回到开头,“小”模型最近已成新趋势。
先是HuggingFace推出了小模型家族“SmolLM”,其中包含135M、360M和1.7B型号模型。
![](https://i.zz5.net/images/article/2024/07/23/140241712.jpg)
它们在广泛的推理和常识基准上优于类似大小的模型。
![](https://i.zz5.net/images/article/2024/07/23/140241743.jpg)
然后OpenAI突然发布了GPT-4o mini,不仅能力接近GPT-4,而且价格大幅下降。
![](https://i.zz5.net/images/article/2024/07/23/140241758.jpg)
就在GPT-4o mini发布同日,Mistral AI联合英伟达发布了12B参数小模型——Mistral NeMo。
从整体性能上看,Mistral NeMo在多项基准测试中,击败了Gemma29B和Llama38B。
![](https://i.zz5.net/images/article/2024/07/23/140241805.jpg)
所以,为啥大家都开始卷小模型了?
原因嘛可能正如smol AI创始人提醒的,虽然模型变小了,但在能力相近的情况下,小模型大大降低了成本。
![](https://i.zz5.net/images/article/2024/07/23/140241821.jpg)
就像他提供的这张图,以GPT-4o mini为代表的小模型整体比右侧价格更低。
![](https://i.zz5.net/images/article/2024/07/23/140241852.jpg)
对此,我等吃瓜群众be like:
![](https://i.zz5.net/images/article/2024/07/23/140241868.jpg)
所以,你更看好哪家呢?(欢迎评论区讨论留言)
模型地址:
https://huggingface.co/apple/DCLM-7B
GitHub:
https://github.com/mlfoundations/dclm
数据集地址:
https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0
参考链接:
[1]https://x.com/Yuchenj_UW/status/1813260100192334108
[2]https://x.com/casper_hansen_/status/1814269340100751382
[3]https://x.com/_philschmid/status/1814274909775995087
[4]https://x.com/LoubnaBenAllal1/status/1813252390692303069
华为发布图像生成模型PixArt-\Sigma 可直出4K图像
华为近日发布了一项名为PixArt-\Sigma的图像生成模型,该模型采用了DiT架构,可以直接生成4K分辨率的图像。相比于其前身PixArt-\alpha,PixArt-\Sigma在图像保真度上有了明显的提升,并改善了与文本提示的一致性。项目地址:https://top.aibase.com/tool/pixart站长网2024-03-08 15:08:490002当一个央美毕业生开始“画”缘
“我能用画换点吃的吗?”如果你是一个摊主,有人拿着相机和你说这句话,你会怎么回答?是爽快答应,还是暗暗吐槽怎么又有拍短视频的作秀,并果断拒绝。这是博主@老王日记油画每期必问的内容,截至目前,他已经用画换得了30多次食物。据其本人简介,@老王日记油画毕业于中央美术学院,擅长油画创作,并以这个优势与不同商家店主进行“美食化缘”,以写实的画风和超高成功率出圈。站长网2023-11-27 11:28:300000京东采销等一线员工涨薪近100%:欢迎回家 回家即加薪
据微信公众号“京东黑板报”报道,京东集团近日发布采销召集令,宣布自2024年1月1日起,在岗的京东采销等一线业务人员的年固定薪酬将大幅上涨近100%。这一消息的发布旨在欢迎采销兄弟回家,并确保回家后福利司龄继续累计。除了大幅加薪,京东还为采销人员提供了多项福利保障,包括司龄补贴、住房保障基金、继续教育、老员工专属称号以及员工救助基金等都将得到延续。0000年亏损5亿刀,OpenAI 2024年破产?Altaman自曝GPU短缺,顶级人才掀离职潮
1.OpenAI每天烧掉70万美元用于维持ChatGPT的运作,加上用户基数下降和顶级人才离职,导致OpenAI面临破产的危机。2.OpenAI在寻找实现盈利的方法,但持续的亏损和GPU短缺等问题使其面临严重困境。3.微软通过整合OpenAI的技术并推出相关产品,努力将OpenAI的成果变现,但面临机密知识产权泄露的风险。站长网2023-08-15 09:29:400002AI文本生成动漫图片工具——Yodayo AI 含40种虚拟主播模型
YodayoAI是一款先进的人工智能系统,旨在生成免费且最好的AI动漫图像。它采用了创新的深度学习算法和生成对抗网络(GANs)等先进神经网络架构。YodayoAI不仅可以帮助用户创造独特的动漫图像,还能推动艺术创作和表达的界限。体验地址:https://yodayo.com/核心功能:拥有超过40种虚拟主播模型,每个有不同特点和风格。站长网2023-08-07 16:52:420002