Allen AI开源微调模型OLMo-7B-Instruct
站长网2024-02-29 10:04:490阅
Allen AI最近宣布开源了微调模型OLMo-7B-Instruct,这是一个真正意义上的开源项目。该模型是基于AI2的Dolma数据集构建的,该数据集包括了用于语言模型预训练的三万亿标记的开放语料库,还包括生成训练数据的代码。
官网:https://allenai.org/olmo
项目页:https://top.aibase.com/tool/olmo
此外,OLMo框架还包括四种7B规模模型变体的完整模型权重,每个模型至少训练了2T个标记。推理代码、训练指标和训练日志也都已提供,让用户可以轻松复刻微调过程。
为了帮助用户更好地评估模型性能,Allen AI还发布了用于开发中使用的评估套件。每个模型在训练过程中每1000步都有500多个检查点,并且提供了在Catwalk项目框架下的训练和评估代码。
这一系列的开源内容将使用户能够全面了解从预训练模型到RLHF微调模型的整个过程,为他们的研究和实践提供了强大的支持。Allen AI的举措为开源社区提供了更多可能性,促进了模型研究和应用的发展。
0000
评论列表
共(0)条相关推荐
我们和CG大佬阮佳聊了聊叫板AI绘画的始末:之前高估了AI
上周,国人美术大佬阮佳下场与AI“对线”的事情,引发了不少讨论。这位曾参与过《光环》《魔兽世界》《暗黑破坏神3》等项目的CG艺术家,上周五在微博放出了一张《艾尔登法环》女武神的同人草图,表示要做个测试——看看有没有人能使用AI,在半小时内将草图细致化。但尽管测试时间一延再延,直至今天,也没有一张图片能在精度、构图上媲美阮佳的成品。站长网2023-05-12 20:38:180001中风瘫痪18年,AI让她再次「开口说话」!脑机接口模拟表情,数字化身当嘴替|Nature
【新智元导读】中风后,瘫痪的Ann失语了18年。就在最近,脑机接口和数字化身,竟让她能用面部表情「说话」了。同一天,Nature双发「脑机接口」重磅研究,足以改变整个人类!30岁那年,一次毁灭性的中风,让一位47岁加拿大女性几乎完全瘫痪,此后失语18年。幸运地是,来自加州大学的团队开发了全新脑机接口(BCI),让Ann控制「数字化身」再次开始说话了。站长网2023-08-25 17:23:230000MDTv2开源,Sora 核心组件 DiT 训练提速 10 倍
**划重点:**1.🌟MaskedDiffusionTransformerV2MDTv2()在ImageNetbenchmark上刷新SoTA,FIDscore达到1.58。2.🚀颜水成/程明明研究团队通过引入MaskedDiffusionTransformer有效提升了DiT的训练速度,并解决了扩散模型在学习语义关系方面的难题。站长网2024-03-13 14:37:150001首位走出考场的考生喊话马化腾 麻烦把QQ空间改回老版
6月7日消息,今天是2023年全国高考的第一天,全国1291万名学生踏进考场,展望着未来。据媒体报道,在上午考试结束后,杭州十四中的考生出来时发表的言论引发了网上的热议。这位考生向马化腾喊话说:“腾讯能把QQ空间改回老版本吗?新版本太难用了。”对此,腾讯QQ官方迅速回应:“鹅收到了你的喊话,非常感谢你的建议!请先专注考试,等考试结束后,我们会第一时间联系你!祝你高考顺利!”站长网2023-06-07 19:12:130000传统电商老板入局小红书20条建议
│前言│最近接触的比较多的就是想做小红书电商的老板们了,我一直在为电商老板们探索小红书的门路,深入研究内容营销的逻辑和流程。数字化时代,小红书作为一个强有力的平台,对于品牌传播和销售具有巨大的影响力。以下20条建是我自己实操以及跟内容山庄CEO圈成员交流后总结的,希望能够为你们的小红书之路提供有益的参考,加快弯道超车的速度。0000