Abacus AI 推出开放式上下文大语言模型Long Context
站长网2023-08-04 15:59:110阅
Abacus.AI LLM Context Expansion 是一款能够扩展语境长度的工具,可以帮助用户扩展模型的语境长度,提高模型对长文本的处理能力。该工具基于 Abacus.AI 的 LLM(Language Model for Long-form Content)架构,提供了一系列代码和工具,用于增加模型对长文本的理解能力。通过预训练和微调,该工具可以使模型在处理超过2048个单词的文本时仍然能够保持高效和准确。
项目地址:https://github.com/abacusai/Long-Context
要点:
1、Abacus AI 的研究人员通过多次实验,发现将 LLMs 的上下文长度能力扩展到更长的上下文是可行的。
2、研究人员使用不同的方法对 RedPajama 数据集进行了 fine-tune,并发现线性缩放方法在模型上下文长度上效果良好,而截断和随机化方法在检索任务上效果较差。
3、通过评估模型在不同数据集上的表现,研究人员发现将上下文长度进行缩放可以显著提高模型的性能,进而改进模型的困惑度,并更好地捕捉文档的主题。
4、Abacus.AI LLM Context Expansion 提供了评估脚本和基准任务,用于评估模型在信息检索方面的能力,并提供了重要的实验结果和复现指南,以帮助用户进一步改进和构建自己的模型。
5、Abacus.AI提供预训练模型权重,对于表现最好的模型(线性插值 指令微调,在缩放因子为4和16时),该工具提供了预训练模型的权重,方便用户直接使用或进行自己的测试。
0000
评论列表
共(0)条相关推荐
报道称iPhone设计师加入LoveFrom,将与Sam Altman合作开发新AI硬件
划重点:🍏苹果iPhone设计总监唐坦加入JonyIve的LoveFrom,与OpenAI首席执行官SamAltman共同开发人工智能硬件。💡项目被称为“AI版iPhone”,由SoftBank资助,涉及JonyIve和唐坦负责外观设计,SamAltman负责软件开发。🏠目前正在LoveFrom讨论的概念包括家庭设备,可能类似于HomePod,但具体细节未透露。0000小米云服务新春活动公布:200GB连续包年 138 元
站长之家(ChinaZ.com)1月15日消息:小米云服务近日宣布,新春活动正式开启,为期14天,即从1月15日至1月28日。在这次活动中,黄金50GB连续包年的价格为39元,白金200GB连续包年价格为138元,而钻石2TB连续包年价格为448元。此次活动仅限中国大陆的小米云服务用户参加,购买连续包年会员方案可以享受5.5折的优惠。站长网2024-01-15 16:04:480000AI图像生成工具Visual Electric发布多张图像组合重绘功能
昨晚,AI图像生成工具VisualElectric推出了两个强大的功能,为AI图像创作流程降低了门槛。首先,它允许用户将生成的多张图像进行组合并进行重绘。其次,用户可以利用几张图片快速自定义图像生成风格,类似于Lora训练的方式。站长网2023-12-15 12:02:410000百度AI原生应用开发工作台“千帆AppBuilder ”全面开放
百度智能云于12月20日举办的2023百度云智大会・智算大会上发布了20多款全栈产品,旨在重构云计算服务以满足大模型落地需求。会议以「大模型重构云计算,CloudforAI」为主题,探讨大模型引发的云计算变革。百度智能云已完成从底层基础设施到大模型开发与应用再到AI原生应用开发的端到端升级重构。站长网2023-12-21 08:36:170000东方甄选卖会员,199元/年,谁在买?
东方甄选,第一家!成为首家开创付费会员的直播机构!10月17日,东方甄选官方号发文:「东方甄选App」甄选会员,正式上线!在东方甄选App入屏和首页醒目位置都可以看到“甄选会员首发”的链接。甄选会员每年199元,东方甄选方面称“开通‘甄选会员’一年最高可省12000元”。如果用户购买会员后,一年内没有享受满199元优惠,东方甄选会将剩余卡费以现金方式退还或用于抵扣下一年会费。站长网2023-10-18 21:26:390000