Stability AI新开源LLM项目“FreeWilly”表现优于 Meta 的 Llama 2
站长网2023-07-24 15:03:160阅
Stability AI 与 CarperAI 发布了两个新的大型语言模型,名为 FreeWilly。其中一个模型基于 Meta 的 Llama v2,通过优化性能展示了开源开发的速度。
两个 FreeWilly 模型均基于 Meta 的 Llama 模型,其中 FreeWilly2已使用具有700亿个参数的较新的 Llama-2模型。FreeWilly 团队自己的努力是使用“高质量指令”生成的新合成数据集进行“仔细微调”。
FreeWilly 团队使用微软的 “Orca 方法” 训练小型模型逐步推理,而不是简单地模仿大型模型的输出风格。他们创建了一个包含600,000个数据点的数据集,相比于 Orca 团队使用的数据集只占了10% 左右。
在常见的基准测试中,以这种方式训练的 FreeWilly 模型在某些逻辑任务中表现出与 ChatGPT 相当的结果,其中基于 Llama2的 FreeWilly2模型优于 FreeWilly1。
总体而言,FreeWilly2在性能上领先于 Llama v2约4%,这表明 Meta 的新标准模型仍有改进的空间,并且开源社区可以提供帮助。

FreeWilly2目前在性能最佳的开源模型列表中处于领先地位,而原始的 Llama2在通用语言理解基准测试 MMLU 上略微领先。
FreeWilly 模型在开放访问大型语言模型领域树立了新标准,推动了研究并增强了自然语言理解和复杂任务的实现。这些模型可免费用于研究目的,并且 FreeWilly2被认为是在基准测试中具有最佳平均结果的开源模型。
项目网址:https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
0000
评论列表
共(0)条相关推荐
曝华为Pura 80系列最快5月登场:最强鸿蒙影像旗舰
快科技1月23日消息,博主定焦数码表示,华为Pura80系列预计在5月或6月登场,对比同期的Pura70系列要晚点(华为Pura70系列是2024年4月上市的产品)。据爆料,华为Pura80Ultra将首发全新的1英寸主摄,这是华为与另外一家国产CIS厂商合作打造的图像传感器,有很多自主研发的核心技术在里面。0000揭开多模态神经元的秘密:从 Molyneux 到 Transformers 的过程
要点:1.Transformers是人工智能领域最重要的创新之一,通过自注意机制实现并行处理,从而能够捕捉信息序列中的隐藏关系,加速训练并提高性能。2.通过跨模态任务,人工神经网络在语言和视觉等领域展现出强大的潜力,能够集成不同感官输入,取得出色的性能。站长网2023-09-28 17:05:050000美女走秀,扛起过亿销售额
不开口的主播能为直播间带来转化吗?答案是肯定的。最近一段时间,一个名为@楠咪咪天团的直播间在抖音的表现十分惹火。根据第三方数据,近30天内,该直播间共进行了33次带货直播,总销售额预估为1亿。站长网2023-09-05 18:18:170000ChatGPT入选自然杂志年度十大人物
《自然》2023年度十大人物揭晓,其中包括九位科学家和一位非人类——ChatGPT。这九位科学家来自不同领域,取得了重要的科学进展和里程碑式成就。他们的成就涵盖了航天、核聚变、发育生物学、人工智能等多个领域。0000赵明:荣耀AI服务最智能 MagicOS 7.2表现惊艳
荣耀日前正式发布了新一代数字系列旗舰荣耀100系列,在发布会后的专访中,赵明强调,荣耀的屏幕最护眼、AI服务最智能,折叠屏做得最轻薄、续航能力还最强,这些都没有任何一家能与荣耀相比。荣耀100系列通过MagicOS7.2系统实现了AI内容创作、语义搜索功能,具有更强的AI实力。站长网2023-11-24 16:34:260000