华盛顿大学推高效大模型调优方法“代理调优”
站长网2024-01-24 09:26:500阅
要点:
1、代理调优方法无需接触模型的内部权重。
2、通过对比小型调整模型和未调整模型的预测结果来引导基础模型的预测。
3、代理调优方法能够在解码时更好地保留训练知识。
华盛顿大学推出更高效的大模型调优方法“代理调优”,该方法通过对比小型调整模型和未调整模型的预测结果来引导基础模型的预测,实现对模型的调优而无需接触模型的内部权重。
随着ChatGPT等生成式AI产品的发展,基础模型的参数不断增加,因此进行权重调优需要耗费大量时间和算力。为提升调优效率,该方法可以在解码时更好地保留训练知识,同时保留更大规模预训练的优势。研究人员对LlAMA-2的13B、70B原始模型进行了微调,结果显示代理调优的性能比直接调优的模型更高。
论文地址:https://arxiv.org/pdf/2401.08565.pdf
该方法需要准备一个小型的预训练语言模型M-,与基础模型M共享相同的词汇表,然后使用训练数据对M-进行调优得到调优模型M 。
在解码时,通过对比基础模型M的输出预测分布和调优模型M 的输出预测分布之间的差异,来引导基础模型的预测,最后将预测差异应用于基础模型的预测结果,以引导基础模型的预测朝向调优模型的预测方向移动。这一方法与大模型中的“蒸馏”技术恰恰相反,是一种创新性的调优方法。
代理调优方法的推出,为大模型的调优提供了更高效的解决方案,同时也可以在解码时更好地保留训练知识,使得模型的性能更高。这一方法的推出将为AI领域的发展带来新的启示,值得进一步深入研究和应用。
0000
评论列表
共(0)条相关推荐
东方甄选们的2024,该再去哪里争「一哥」?
对于大主播来说,平台一哥争夺战的话题依旧无法避免。淘宝和快手的带货一哥还是李佳琦和辛巴,而抖音则已经从罗永浩到董宇辉再到小杨哥,更替到了第三代。现如今,老罗撤了,交个朋友控股的市值只有20多亿;东方甄选和三只羊不得不紧急谋划下一步的出路。站长网2024-01-28 17:31:450000马斯克X平台与Midjourney正商谈合作 致力于生成式AI项目
**划重点:**1.🌐ElonMusk的X平台与Midjourney,Inc据称正在商谈合作,可能致力于开发生成式人工智能相关项目。2.🧠合作可能涉及在选举前识别X平台上的GenAI内容,以推动人工智能技术的应用。3.🤖Midjourney公司的生成式AI程序类似于其他项目,如OpenAI的DALL-E和StabilityAI的StableDiffusion。站长网2024-02-21 10:29:250000在淘宝,山寨机永不落幕
辩证看,山寨机十多年来依旧存在,自然有它存在的理由。但并不意味着,消费者对产品质量好坏,甚至是否假冒伪劣没有要求。“6.5英寸高清屏、灵动岛前摄、7800mAh电池、双卡多模、4800W像素……”如果仅看淘宝天猫上宣传,这部558元起,月销500的“23款14promax”手机,外形与iPhone14promax几乎一样,硬件堆料也相当吸引人,甚至不输给很多主流品牌。站长网2023-07-27 10:50:330000复旦大学附属中山医院联合光启慧语发布光语医疗大模型
10月31日复旦大学附属中山医院联合光启慧语打造的“光语医疗大模型”亮相杭州云栖大会。光语医疗大模型是由中山医院深度参与、针对真实医疗场景定制而成,可形成覆盖就医全流程多个场景的医疗AI专业能力。站长网2023-11-01 14:33:300000如何通过集成GPTCache来优化LLM应用的速度和降低成本
文章要点:1.GPTCache可以显著减少延迟从而使LLM应用程序变得超快2.通过减少对LLM的调用,可以节省计算资源从而降低成本3.GPTCache具有可扩展性,适用于各种规模的应用站长网2023-08-31 15:45:160000