智源研究院发布LM-Cocktail模型治理策略 低成本提升模型性能
站长网2023-12-11 14:16:430阅
智源研究院最近发布了 LM-Cocktail 模型治理策略,旨在为大模型开发者提供一个低成本持续提升模型性能的方式。
该策略通过融合多个模型的优势,实现在目标任务上性能的提升,同时保持在通用任务上的强大能力。
LM-Cocktail 可以帮助开发者将多个模型的优势能力汇总起来,生成一个具备多种特长的 “多技能” 模型。通过少量样例计算加权权重,可以融合现有模型,无需重新训练。
这种策略对于缺乏目标任务标签数据或计算资源的开发者尤为有用。LM-Cocktail 的核心是将微调后的模型与多个其他模型的参数进行融合,整合多个模型的优点,提高目标任务的准确度,同时保持在其他任务上的通用能力。
目前,LM-Cocktail 已在实验中展现了良好的性能。
论文 :https://arxiv.org/abs/2311.13534
代码 :https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail
项目地址:https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail
0000
评论列表
共(0)条相关推荐
华为发布面向AI大模型的存储产品 加速AI训练
华为发布面向大模型的存储产品,包括OceanStorA310深度学习数据湖存储和FusionCubeA3000训/推超融合一体机。这两款产品性能密度创新纪录,具备高效率和高性能的特点。华为数据存储团队中的“天才少年”张霁透露了他正在推进的研究课题,包括向量存储、数据方舱、近存计算等。华为在大模型时代下,注重解决数据存储问题,从而加速AI训练。站长网2023-07-20 12:59:290000开发速率飙升20倍!GPT Pilot明星项目登Github热榜,从0开始构建AI
【新智元导读】开发者的效率倍增工具来了。AI开发者伴侣GPTPilot可以让95%的开发者实现自动编码。又一个明星项目诞生了!GPTPilot,一个AI开发者伴侣,可以从0开始构建应用程序,可以自己编写代码、配置开发环境、管理开发任务、调试代码。甚至,你可以随时和它聊天提问,帮你解决开发难题。项目体验网址:https://top.aibase.com/tool/gpt-pilot0000Cathie Wood 警告经济硬着陆 但认为人工智能可以解决问题
站长之家(ChinaZ.com)10月9日消息:CathieWood管理着ArkInvest交易所交易基金(ETFs)中的约120亿美元的资产。她的工作之一是密切关注宏观经济趋势,同时专注于重大技术颠覆。站长网2023-10-09 10:21:550000支付宝上线“付款码隐私保护功能”
今日,支付宝官方微博宣布上线“付款码隐私保护功能”。用户打开这个功能,隐藏付款码,点击“展示付款码”可正常使用。支付宝表示,目前已经为付款码配了五把锁,防止坏人偷窥。另外,也提醒大家在输入密码或展示付款码时,请千万要注意周边环境安全。站长网2023-04-17 14:31:120000字节正在内部测试对话类AI项目,代号Grace
据Tech星球报道,字节跳动内部正在测试一款名为“Grace”的AI对话类产品,目前仅用于内部体验测试。相比于其他大厂的AI项目,外界对字节的AI业务知之甚少。去年,字节在抖音、今日头条等产品层面推出过绘画类、特效类AIGC功能。今年2月,据36氪报道,字节跳动在大模型上已有布局,会在语言和图像两方面发力。站长网2023-06-11 22:38:230001