基于LLaMA!开源模型Giraffe将LLaMA上下文窗口扩大10倍 达3万个token
站长网2023-08-26 16:14:333阅
文章概要:
1. 研究人员扩展了开源 LLaMA 模型的上下文窗口,创建了 Giraffe,上下文窗口扩大10倍,达到约32,000个标记。
2. Giraffe适合需要处理数十页文本的商业应用,为大上下文语言模型研究提供了重要见解。
3.该研究还强调了当前技术的局限性以及定制测试的必要性,当前不足以衡量长上下文表现,需要定制测试。
最近,研究人员使用插值技术将开源语言模型LLaMA的上下文窗口从原来的约3,200个token扩大了10倍,达到约32,000个token,由此开发出新的开源语言模型Giraffe。该版本有130亿个参数版本,并且拥有所有开源 LLM 中最大的上下文窗口之一。
Giraffe适用于需要处理数十页文本的各种商业应用场景。像GPT-3这样的语言模型上下文窗口有限,对长文本理解能力较弱。而Giraffe具有更大的“记忆”,能更好地处理这样的用例。
作为开源研究,Giraffe研究还提供了对语言模型内部运作以及不同的上下文窗口扩大技术的重要见解。研究发现,位置嵌入的线性缩放对增加上下文长度最为有效。
研究同时也凸显了当前技术的局限性,因为准确率会随上下文窗口增加而下降。这表明仅用困惑度来衡量语言模型的表现是不够的,对长上下文任务需要定制化的测试。
目前,开源的Giraffe-v2-13b-32k模型已在Hugging Face平台上线,代码也在GitHub上开源。
项目网址:
https://github.com/abacusai/Long-Context
https://huggingface.co/abacusai/Giraffe-v2-13b-32k
0003
评论列表
共(0)条相关推荐
人工智能写作助手Flot.ai:使用最新GPT-4 模型 支持200多种语言
Flot.ai是一款人工智能写作助手,能够帮助用户在任何应用或网站上获得AI的帮助,无需复制粘贴就可以使用ChatGPT。Flot.ai使用OpenAI最新的GPT-4模型,支持200多种语言,真正做到一键使用AI。体验地址:https://flot.ai/站长网2023-09-11 18:01:100000英国政府推出超过 1 亿英镑的计划来启动“负责任的”人工智能研发
**划重点:**-🇬🇧**AI监管回应:**英国政府对AI监管咨询作出回应,强调依赖现行法律和监管机构,并提供针对AI监管和创新的逾1亿英镑资金。-💼**全球引领提振:**科学、创新与技术部(DSIT)将该计划打造成对英国在AI领域“全球引领”的提振,其中包括逾1亿英镑的资金。站长网2024-02-06 09:58:430000T2I扩散模型PIXART-α:图像生成质量媲美Stable Diffusion
划重点:新时代的逼真图像合成:文本到图像(T2I)生成模型DALLE2、Imagen和StableDiffusion,对后续应用产生深远影响。降低成本的高质量图像生成:研究人员提出PIXART-α,大幅降低了训练成本,同时保持了与最新图像生成器相媲美的图像质量。改进文本到图像生成:通过创新方法,包括训练策略和数据集改进,提高了T2I模型的效率和质量。站长网2023-10-16 10:22:270000傍上中国邮政,雪王“入编”登上热搜!
蜜雪冰城,在博得用户关注上,可谓驾轻就熟,论其刷屏操作可以说是比比皆是,而令人印象最深刻可能便是那曲火遍整个网络的洗脑神曲“你爱我,我爱你,蜜雪冰城甜蜜蜜......”。昨天,#中国邮政是懂奶茶取名的#登上了热搜No.1,细细看才知道是蜜雪冰城与中国邮政联名了,引发了大众的的热评。01蜜雪冰城“入编”,网友玩疯了站长网2023-08-10 18:13:480000ChatGPT正在测试原生文件分析功能,DALL·E 3能P图啦!
10月29日,有部分用户在社交平台上分享,ChatGPTPlus正在测试原生文件上传、分析功能,可以通过文本问答的方式,对上传的PDF等数据文件进行提问、搜索。例如,上传一份50页的员工手册PDF文件,然后向ChatGPT提问,能帮我总结一下手册的5个核心观点吗?;新入职员工触犯规则后,会遭遇哪些处罚?站长网2023-10-30 09:20:450000