Open LLM榜单再次刷新,比Llama 2更强的「鸭嘴兽」来了
为了挑战 OpenAI 的 GPT-3.5和 GPT-4等闭源模型的主导地位, 一系列开源模型力量正在崛起,包括 LLaMa、Falcon 等。最近,Meta AI 发布了 LLaMa-2模型,被誉为开源领域最强的大模型,很多研究者也在此基础上搭建自己的模型。比如,StabilityAI 利用 Orca 风格的数据集对 Llama270B 模型进行了微调,打造出了 StableBeluga2,在 Huggingface 的 Open LLM 排行榜中也取得了不错的成绩。
最近,Open LLM 榜单的排行又发生了新的变化,一个名叫 Platypus(鸭嘴兽)的模型登上了榜首。
概括地说,Platypus 同样是基于 Llama2微调。来自波士顿大学的作者使用了 PEFT 和 LoRA 以及数据集 Open-Platypus 进行优化。
在一篇论文中,作者对 Platypus 进行了详细的介绍:
论文地址:https://arxiv.org/abs/2308.07317
本文的贡献主要有以下几点:
Open-Platypus 是一个小规模的数据集,由公共文本数据集的精选子集组成。该数据集由11个开源数据集组成,重点是提高 LLM 的 STEM 和逻辑知识。它主要由人类设计的问题组成,只有10% 的问题是由 LLM 生成的。Open-Platypus 的主要优势在于其规模和质量,它可以在很短的时间内实现非常高的性能,并且微调的时间和成本都很低。具体来说,在单个 A100GPU 上使用25k 个问题训练13B 模型只需5个小时。
描述了相似性排除过程,减少数据集的大小,并减少数据冗余。
详细分析了始终存在的开放 LLM 训练集与重要 LLM 测试集中包含的数据相污染的现象,并介绍了作者避免这一隐患的训练数据过滤过程。
介绍了对专门的微调 LoRA 模块进行选择和合并的过程。
Open-Platypus 数据集
目前,作者在 Hugging Face 上发布了 Open-Platypus 数据集:
污染问题
本文方法优先考虑防止基准测试问题泄漏到训练集中,以避免仅通过记忆产生结果偏差。作者努力追求准确性的同时,也认识到标记重复问题时需要灵活性,因为问题的提出方式多种多样,而且会受到通用领域知识的影响。为了管理潜在的泄漏,作者精心设计了启发式方法,用于手动过滤 Open-Platypus 中与基准问题余弦嵌入相似度超过80% 的问题。他们将潜在泄漏分为三类:(1) 重复;(2) 灰色区域;(3) 相似但不相同。并且,为谨慎起见,他们将所有组别都排除在训练集之外。
重复
这几乎完全复制了测试题集的内容,可能只是稍稍改动了一下单词或稍作重新排列。根据上表中泄漏问题的数量,这是作者认为真正属于污染的唯一类别。具体例子如下:
灰色区域
以下问题被称为灰色区域,包括并非完全重复、属于常识范畴的问题。虽然作者将这些问题的最终评判权留给了开源社区,但他们认为这些问题往往需要专家知识。需要注意的是,这类问题包括指令完全相同,但答案却同义的问题:
相似但不相同
这些问题的具有较高的相似度,但由于问题之间有着细微的变化,在答案上存在着显著差异。
微调与合并
在完善数据集之后,作者将重点放在两种方法上:低秩近似(LoRA)训练和参数高效微调(PEFT)库。与完全的微调不同,LoRA 保留了预训练的模型权重,并在 transformer 层中整合了秩分解矩阵。这就减少了可训练参数,节省了训练时间和成本。起初,微调主要针对注意力模块,如 v_proj、q_proj、k_proj 和 o_proj。后来,根据 He et al. 的见解,过渡到 gate_proj、down_proj 和 up_proj 模块。除了可训练参数小于总参数的0.1% 时,这些模块均显示出了更好的效果。作者对13B 和70B 模型统一采用了这一方法,结果可训练参数分别为0.27% 和0.2%。唯一的差异在于这些模型的初始学习率。
结果
作者将 Platypus 与其他的 SOTA 模型进行了比较。根据2023年8月10日的 Hugging Face Open LLM 排行榜数据,Platypus2-70Binstruct 变体表现优于其他竞争对手,以73.13的平均分稳居榜首:
值得注意的是,Stable-Platypus2-13B 模型以63.96的平均分成为130亿参数模型中的佼佼者:
局限性
作为 LLaMa-2的微调扩展,Platypus 保留了基础模型的许多限制条件,并因其有针对性的训练而引入了特定的挑战。它共享 LLaMa-2的静态知识库,而知识库可能会过时。此外,还存在生成不准确或不恰当内容的风险,尤其是在提示不明确的情况下。虽然 Platypus 在 STEM 和英语逻辑方面得到了增强,但它对其他语言的熟练程度并不可靠,而且可能不一致。它偶尔也会产生带有偏见、攻击性或有害的内容。作者表示已经努力减少这些问题,但挑战依然存在,尤其是在非英语语言方面。
Platypus 可能会被滥用于恶意活动,这也是一个令人担忧的问题。开发人员应在部署前对其应用程序进行安全测试。Platypus 在其主要领域之外可能存在局限性,因此用户应谨慎行事,并考虑进行额外的微调以获得最佳性能。用户应确保 Platypus 的训练数据与其他基准测试集之间没有重叠。作者对数据污染问题非常谨慎,避免与在有污点的数据集上训练的模型合并。虽然经过清理的训练数据中确认没有污染,但也不排除有些问题漏掉了。如需全面了解这些限制,请参阅论文中的限制部分。
B站成立交易生态中心,加强商业化交易能力
据新浪科技消息,B站今日发布内部邮件,宣布将整合多个团队,成立新的一级部门——交易生态中心,并由公司COO李旎(Carly)兼任负责人。该邮件指出,交易生态中心将合并电商平台部,并将原电商事业部的产品和运营团队,以及主站商业中心/带货项目组的部分团队纳入其中。站长网2023-06-29 23:46:230000谷歌内部测试YouTube游戏产品,以进军游戏领域
据国外媒体报道,谷歌正在内部测试一款名为Playables的新YouTube产品,让用户在移动设备或桌面电脑上玩游戏。该产品将为YouTube在在线游戏领域拥有更大的影响力,而首席执行官NealMohan正在寻求新的增长领域。站长网2023-06-26 12:31:590000糟糕!玩脱了!B站UP主将ChatGPT接入《原神》游戏 视频播放超67万
最近,B站UP主“Risd_锐小杜”尝试将ChatGPT接入《原神》游戏,引发了广泛关注。在AI的驱动下,游戏中的角色和NPC呈现出更加灵活和智能的对话,不再受限于重复的固定台词,同时能够超越程序设定的活动范围。这意味着玩家可以与固定地点的角色结伴而行,通过语音输入自主决定对话内容,改变剧情走向。站长网2023-11-22 14:31:060000离谱!剪映系统默认字体做视频竟然侵权?有人被告了。
所有用过剪映做短视频的家人们注意了!2023年4月7日微博博主@聆镜发布了一条让我觉得不可思议的消息:剪映的系统默认字体“华康金刚黑”,不能企业商用。换句话说,如果你用剪映做短视频,使用了默认字体“华康金刚黑”,用它营利了;或者你运营的账号是企业类型,就可能涉嫌侵权了。这个消息迅速在微博和小红书上引起了广泛关注,吸引了几千条评论,5.6万点赞数。站长网2023-04-18 09:12:03000725提高钙钛矿/晶硅叠层太阳能电池效率研究获进展
站长网2023-05-24 20:52:430000