复旦研究团队揭示RoPE位置编码微调法则 LLaMA2上下文长度暴涨至100万tokens
要点:
1. 复旦大学和上海人工智能实验室的研究团队发现,通过微调RoPE位置编码中的旋转角底数(base)这一超参数,可以显著提升大型模型的上下文长度,实现外推能力的稳定提升。
2. 他们提出了一套RoPE外推的缩放法则,可以根据预训练和续训文本长度来预测大模型的支持的上下文长度,并调整旋转角底数以提升外推表现。
3. 这项研究有望帮助大型模型更轻松地扩展其上下文窗口长度,增强外推能力,为自然语言处理等领域的应用提供更多潜力。
复旦大学和上海人工智能实验室的研究团队在一项新研究中,揭示了一项引人注目的发现:他们能够通过微调一个关键的RoPE位置编码中的超参数,显著扩展大型模型的上下文长度,从1.6万tokens延长至100万tokens,同时提升外推能力。这个超参数被称为旋转角底数(base),在RoPE位置编码中起着关键作用。
目前,大型模型如Claude2和GPT-4在支持上下文长度方面存在限制,不超过10万和3.2万tokens,一旦超出这些限制,模型会表现出困难和混乱。这项研究的发现有望解决这一问题,提供更大的上下文窗口长度以应对更复杂的任务。

论文地址:
https://arxiv.org/abs/2310.05209
Github仓库:
https://github.com/OpenLMLab/scaling-rope
研究的核心在于RoPE位置编码,它是Transformer架构的一部分,用于帮助模型理解词序信息。RoPE采用绝对位置编码的方式实现了相对位置编码的效果,但与相对位置编码相比,它在提升大型模型的外推能力方面表现更出色。
在这一领域的研究主要分为两大流派:一是限制注意力,包括代表研究如ALiBi、xPos、BCA等,以及MIT提出的StreamingLLM,可以实现无限的输入长度;二是调整旋转角,代表如线性内插、Giraffe、Code LLaMA、LLaMA2Long等。
LLaMA2Long研究提出了一种名为RoPE ABF的方法,通过微调旋转角底数,成功将大型模型的上下文长度从3.2万tokens延长至更大。这一超参数的微调是一种“开关”,使大型模型的外推表现更出色。然而,现有的研究仅在特定的旋转角底数和续训长度上进行微调,缺乏通用规律,以确保所有采用RoPE位置编码的大型模型都能稳定提升外推表现。
为了找到这一规律,复旦大学和上海AI研究院的研究人员进行了实验,他们分析了影响RoPE外推能力的各种参数,提出了“临界维度”(Critical Dimension)的概念,并总结出了RoPE外推的缩放法则(Scaling Laws of RoPE-based Extrapolation)。根据这一规律,可以根据不同的预训练和续训文本长度来预测大型模型的支持的上下文长度,然后相应地微调旋转角底数,以提升外推表现。
这项研究的实验结果显示,根据这一规律,大型模型能够在输入长度为10万、50万甚至100万tokens的情况下,实现外推而无需额外的注意力限制。这一规律也得到了包括Code LLaMA和LLaMA2Long在内的大型模型外推能力增强工作的验证。
总的来说,这项研究为大型模型提供了一种通用的方法,通过微调RoPE位置编码的超参数,轻松扩展上下文窗口长度,增强外推能力。这一规律的发现将有望进一步改善大型模型在自然语言处理等领域的性能,并提供更多应用潜力。
10天涨粉156万!“王婆说媒”全网爆火!女网红蹭流量翻车?
头戴大红花、一颗媒婆痣,河南开封万岁山武侠城的一位“开封王婆”成了最近的抖音“流量密码”,她主打一个不管高矮胖瘦、贫穷富贵,只要敢上台,就有可能求得姻缘,堪称是活月老。她的节目现场人山人海,女生可以摸腹肌、在线选帅哥、求复合、求复婚、甚至有百万及网红蹭她的热度而被赶下台……只有你想不到,没有现场看不到,王婆的幽默和控场能力更像是一场精彩相声。站长网2024-03-26 11:44:250000网信部门派出工作组进驻斗鱼
针对斗鱼平台存在的色情、低俗等严重生态问题,5月8日,国家互联网信息办公室指导湖北省互联网信息办公室派出工作组,进驻斗鱼平台开展为期1个月的集中整改督导。财报显示,斗鱼第四季度总净营收为16.811亿元,同比下滑27.8%。2022年全年,斗鱼总营收为71.08亿元。第四季度,斗鱼移动端MAU为5740万;付费用户也与三季度持平,稳定在560万。站长网2023-05-09 08:59:020000小米视频免费短剧内测招募来了:2000部短剧免费看
小米视频推出免费短剧专区内测,优化播放体验,上线畅看卡报名日期:2024年11月7日-2024年11月13日测试时间:2024年11月7日-2024年11月15日小米视频已上线短剧分区,汇聚爱奇艺、一览、七彩剧院等多渠道的短剧资源。目前上线的剧集类型包括战神逆袭、甜宠恋爱、都市剧等。小米视频App仅限小米手机使用,整合了爱奇艺、芒果TV等视频平台的内容。站长网2024-11-14 16:30:240000腾讯QQ发布25岁生日活动 转发消息可获得太阳头像挂件
站长之家(ChinaZ.com)2月7日消息:《今天是腾讯QQ的25岁生日,转发这个消息,你的QQ会获得一个限定版“太阳”。》2月10日,是QQ的25岁生日。为了感谢大家多年的陪伴与支持,QQ特意准备了一份特别的礼物——限定版“太阳挂件”。从2月7日开始,到2月13日结束,只要你在QQ上转发这条消息给你的好友或群组,就可以免费领取这个独特的挂件,让你的QQ更加独特和闪耀。站长网2024-02-07 14:23:160000雷军将重回小米手机发布会:发布小米 MIX Fold 4 、 MIX Flip
站长之家(ChinaZ.com)7月11日消息:随着小米汽车项目SU7的顺利发布与市场的热烈反响,小米创办人、董事长兼CEO雷军在成功引领汽车领域新篇章后,宣布将重归手机舞台中央。7月8日,小米产品经理魏思琪在与米粉的亲密互动中透露,万众瞩目的小米MIXFold4与全新形态的小米MIXFlip折叠屏手机发布会,将由雷军亲自担任主持,这一消息迅速点燃了科技爱好者的热情。站长网2024-07-11 11:42:520000