Stability AI新开源LLM项目“FreeWilly”表现优于 Meta 的 Llama 2
站长网2023-07-24 15:03:160阅
Stability AI 与 CarperAI 发布了两个新的大型语言模型,名为 FreeWilly。其中一个模型基于 Meta 的 Llama v2,通过优化性能展示了开源开发的速度。
两个 FreeWilly 模型均基于 Meta 的 Llama 模型,其中 FreeWilly2已使用具有700亿个参数的较新的 Llama-2模型。FreeWilly 团队自己的努力是使用“高质量指令”生成的新合成数据集进行“仔细微调”。
FreeWilly 团队使用微软的 “Orca 方法” 训练小型模型逐步推理,而不是简单地模仿大型模型的输出风格。他们创建了一个包含600,000个数据点的数据集,相比于 Orca 团队使用的数据集只占了10% 左右。
在常见的基准测试中,以这种方式训练的 FreeWilly 模型在某些逻辑任务中表现出与 ChatGPT 相当的结果,其中基于 Llama2的 FreeWilly2模型优于 FreeWilly1。
总体而言,FreeWilly2在性能上领先于 Llama v2约4%,这表明 Meta 的新标准模型仍有改进的空间,并且开源社区可以提供帮助。
FreeWilly2目前在性能最佳的开源模型列表中处于领先地位,而原始的 Llama2在通用语言理解基准测试 MMLU 上略微领先。
FreeWilly 模型在开放访问大型语言模型领域树立了新标准,推动了研究并增强了自然语言理解和复杂任务的实现。这些模型可免费用于研究目的,并且 FreeWilly2被认为是在基准测试中具有最佳平均结果的开源模型。
项目网址:https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
0000
评论列表
共(0)条相关推荐
视频AIGC“王者” Pika诞生 半年估值2亿美元
华人团队、估值过亿、OpenAI联创参投,视频AI生成工具Pika1.0一诞生就叠满Buff,短短几天火爆全网,社区用户超55万,被网友评价为目前最好的视频生成工具,俨然成了同类公司Runway创建的Gen-2的最强竞品。站长网2023-12-04 11:09:590000英伟达在人工智能技术领域的领导地位和近乎垄断的地位「令人震惊」
站长之家(ChinaZ.com)8月10日消息:英伟达日前展示了其新的人工智能处理器芯片GH200,并推出了AIWorkbench功能,供客户开发自己的大型语言模型。截至2023年,英伟达股价今年已上涨超过200%。站长网2023-08-10 09:59:220000小红书“制造”千万级买手
“很多新兴家居品牌,把第一场带货直播押宝在小红书”,这让在家居行业从业十余年的设计师“野柿子小姐”很意外。这样的风潮,“野柿子小姐”也是助力者。她有两重身份,作为家居品牌的主理人,“野柿子小姐”把不少新品首发放在小红书;作为一名小红书家居买手,她则把越来越多不知名的新兴设计师品牌,带进万千家庭中。站长网2023-11-09 18:01:120000OpenDiT:一个用来加速类似Sora的DiT架构模型训练和推理项目
要点:OpenDiT是一个针对DiT训练和推断的高性能实现,通过Colossal-AI提供支持,能够提升训练和推断的效率。OpenDiT采用了多种技术提升性能,包括优化内核、混合并行方法以及FastSeq等,能够显著提高GPU计算速度和降低内存占用。站长网2024-02-28 10:08:210000汤姆猫:推进移动应用内容玩法的AI化和交互创新
最近,汤姆猫在接受投资者调研时表示,在人工智能交互产品方面,公司国内外团队正在同步开发相关产品。公司国内研发团队将“汤姆猫”IP形象融入到AI交互产品功能原型中,加入了语音识别、语音合成、性格设定、内容过滤等功能。这支团队测试了语音交互、连续对话等产品性能,初步验证了相关技术的可行性,并已开始开发应用产品。站长网2023-05-08 15:31:140000