羊驼家族大模型集体进化!32k上下文追平GPT-4,田渊栋团队出品
开源羊驼大模型LLaMA上下文追平GPT-4,只需要一个简单改动!
Meta AI这篇刚刚提交的论文表示,LLaMA上下文窗口从2k扩展到32k后只需要小于1000步的微调。
与预训练相比,成本忽略不计。
扩展上下文窗口,就意味着AI的“工作记忆”容量增加,具体来说可以:
支持更多轮对话,减少遗忘现象,如更稳定的角色扮演
输入更多资料完成更复杂的任务,如一次处理更长文档或多篇文档
更重要的意义在于,所有基于LLaMA的羊驼大模型家族岂不是可以低成本采用此方法,集体进化?
羊驼是目前综合能力最强的开源基础模型,已经衍生出不少完全开源可商用大模型和垂直行业模型。
论文通信作者田渊栋也激动地在朋友圈分享这一新进展。
基于RoPE的大模型都能用
新方法名为位置插值(Position Interpolation),对使用RoPE(旋转位置编码)的大模型都适用。
RoPE早在2021年就由追一科技团队提出,到现在已成为大模型最常见的位置编码方法之一。
但在此架构下直接使用外推法(Extrapolation)扩展上下文窗口,会完全破坏自注意力机制。
具体来说,超出预训练上下文长度之外的部分,会使模型困惑度(perplexity)飙升至和未经训练的模型相当。
新方法改成线性地缩小位置索引,扩展前后位置索引和相对距离的范围对齐。
用图表现二者的区别更加直观。
实验结果显示,新方法对从7B到65B的LLaMA大模型都有效。
在长序列语言建模(Long Sequence Language Modeling)、密钥检索(Passkey Retrieval)、长文档摘要(Long Document Summarization)中性能都没有明显下降。
除了实验之外,论文附录中也给出了对新方法的详细证明。
Three More Thing
上下文窗口曾经是开源大模型与商业大模型之间一个重要差距。
比如OpenAI的GPT-3.5最高支持16k,GPT-4支持32k,AnthropicAI的Claude更是高达100k。
与此同时许多开源大模型如LLaMA和Falcon还停留在2k。
现在,Meta AI的新成果直接把这一差距抹平了。
扩展上下文窗口也是近期大模型研究的焦点之一,除了位置插值方法之外,还有很多尝试引起业界关注。
1、开发者kaiokendev在一篇技术博客中探索了一种将LLaMa上下文窗口扩展到8k的方法。
2、数据安全公司Soveren机器学习负责人Galina Alperovich在一篇文章中总结了扩展上下文窗口的6个技巧。
3、来自Mila、IBM等机构的团队还在一篇论文中尝试了在Transformer中完全去掉位置编码的方法。
有需要的小伙伴可以点击下方链接查看~
Meta论文:
https://arxiv.org/abs/2306.15595
Extending Context is Hard…but not Impossible
https://kaiokendev.github.io/context
The Secret Sauce behind100K context window in LLMs
https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c
无位置编码论文
https://arxiv.org/abs/2305.19466
—完—
大模型总结摘要靠谱吗?比人类写的流畅,用GPT-4幻觉还少
以后文本摘要总结任务,可以放心交给大模型了。文本摘要,作为自然语言生成(NLG)中的一项任务,主要用来将一大段长文本压缩为简短的摘要,例如新闻文章、源代码和跨语言文本等多种内容都能用到。随着大模型(LLM)的出现,传统的在特定数据集上进行微调的方法已经不在适用。我们不禁会问,LLM在生成摘要方面效果到底如何?站长网2023-09-20 15:37:510002奇瑞新能源销量回暖,小蚂蚁成年轻人主力
奇瑞新能源自2019年起,持续推出多款新能源车型,不断提升品质和服务,最近几个月销量回暖,并引起了广大年轻消费者的关注。其中,小蚂蚁(参数|询价|图片)成为了成年轻人主力之一,成为奇瑞新能源的热销车型。随着汽车市场的逐渐成熟,消费者对于汽车的需求也日益多样化。做为国内知名汽车品牌的奇瑞汽车,一直致力于不断的创新和进步。奇瑞小蚂蚁更强,新能源逐渐像年轻人靠拢,受到了广大消费者的关注。站长网2023-05-25 07:51:130000Cloudflare 针对 AI安全问题推出零信任安全控制套件
日前,美国CDN服务商Cloudflare宣布推出零信任安全控制套件CloudflareOneforAI。该工具可帮助企业安全、可靠地使用最新的生成式人工智能工具,同时保护知识产权和客户数据。该套件功能将为企业提供一个简单、快速且安全的手段,在不影响性能或安全的情况下采用生成式人工智能。站长网2023-05-16 16:53:560002今年被众多VC一致看好的AI应用,为何是它们?
2023,眼看着只剩下不到两个月的时间了。在今年兴起的这股AI浪潮中,哪种AI应用是最有前景,最值得下注?关于这点,投资界似乎已经达成了一致的共识。最近,一家专注于AI的新闻平台AIbeat统计出了全球10家估值最高的人工智能初创公司。如果人们对表格中的企业进行筛选,就会发现,其中有超过半数以上的产品,都属于同一类AI应用。站长网2023-11-03 16:37:090000艺术家开始使用新工具“Kudurru” 对抗AI剽窃
划重点:1.艺术家为了对抗AI网络爬虫,使用名为Kudurru的新工具,通过“毒害”网络爬虫,发送错误图像,以保护他们的作品。2.Kudurru是一种基于网络的工具,通过识别网络爬虫行为,提供了阻止爬虫或发送误导图像的选项。3.尽管Kudurru提供了一种有限的解决方案,但大规模、永久性的变革可能需要政府干预,以确保AI的培训不再滥用艺术家的作品。站长网2023-10-13 10:09:090000