Abacus AI 推出开放式上下文大语言模型Long Context
站长网2023-08-04 15:59:110阅
Abacus.AI LLM Context Expansion 是一款能够扩展语境长度的工具,可以帮助用户扩展模型的语境长度,提高模型对长文本的处理能力。该工具基于 Abacus.AI 的 LLM(Language Model for Long-form Content)架构,提供了一系列代码和工具,用于增加模型对长文本的理解能力。通过预训练和微调,该工具可以使模型在处理超过2048个单词的文本时仍然能够保持高效和准确。

项目地址:https://github.com/abacusai/Long-Context
要点:
1、Abacus AI 的研究人员通过多次实验,发现将 LLMs 的上下文长度能力扩展到更长的上下文是可行的。
2、研究人员使用不同的方法对 RedPajama 数据集进行了 fine-tune,并发现线性缩放方法在模型上下文长度上效果良好,而截断和随机化方法在检索任务上效果较差。
3、通过评估模型在不同数据集上的表现,研究人员发现将上下文长度进行缩放可以显著提高模型的性能,进而改进模型的困惑度,并更好地捕捉文档的主题。

4、Abacus.AI LLM Context Expansion 提供了评估脚本和基准任务,用于评估模型在信息检索方面的能力,并提供了重要的实验结果和复现指南,以帮助用户进一步改进和构建自己的模型。
5、Abacus.AI提供预训练模型权重,对于表现最好的模型(线性插值 指令微调,在缩放因子为4和16时),该工具提供了预训练模型的权重,方便用户直接使用或进行自己的测试。
0000
评论列表
共(0)条相关推荐
WPS致歉:所有用户文档不会被用于AI 训练目的
11月19日消息,近日有媒体报道称,此前《WPS隐私政策》中提到“为提升您使用我们提供的包括但不限于在线文档美化、在线PPT美化、在线表格美化的AI功能的准确性,我们将对您主动上传的文档材料,在采取脱敏处理后作为AI训练的基础材料使用”,被质疑涉及用户隐私问题。站长网2023-11-19 16:13:280000谷歌人工智能实验室 DeepMind 涌现众多隐形 AI 初创企业创始人
站长之家(ChinaZ.com)8月11日消息:创立一年的初创公司InflectionAI宣布获得由微软和英伟达领投的13亿美元融资,引起了媒体关注。这家初创公司于今年5月推出了其聊天机器人Pi,并由DeepMind人工智能研究实验室联合创始人MustafaSuleyman创建。Suleyman在2022年初辞去了他在该实验室应用AI负责人的职位。站长网2023-08-11 11:48:430000周杰伦官宣数智人“周同学” ,1:1复刻了周杰伦本人
今日,周杰伦在中国移动咪咕元宇宙总部亮相,宣布双方在元宇宙领域达成了一系列合作。周杰伦发布了中国移动与好莱坞特效团队WETA所打造的真实数智人“周同学”。从官方视频来看,周同学的皮肤细节和服饰设计排除了周杰伦本人的个性风格,细节处理非常精致。官方也称,周同学的外形完美地1:1复刻了周杰伦本人,建模有着精细的质感和酷炫的人设,逼真且精致。站长网2023-05-08 20:49:440000Redmi K80系列曝光:首批搭载骁龙8 Gen4
站长之家(ChinaZ.com)3月6日消息:近日,知名博主数码闲聊站透露,Redmi正在秘密测试其全新的K80系列手机。据悉,这一系列产品将涵盖两个不同版本的处理器:骁龙8Gen3和即将在10月推出的骁龙8Gen4。站长网2024-03-06 14:20:410000IBM 宣布收购 Manta 软件公司以补充数据和人工智能治理能力
站长之家(ChinaZ.com)10月25日消息:IBM发布新闻稿宣布,已经收购了Manta软件公司——一个世界一流的数据溯源平台,以补充其在watsonx.ai、watsonx.data和watsonx.governance中的能力,并帮助企业交付基于信任和透明原则构建的产品。图片来自IBM站长网2023-10-25 18:21:080000