利用合成数据微调ChatGPT超越GPT-4摘要性能 降低63%成本和提升11倍速度
文章概要:
- 利用链式密度提示微调ChatGPT在新闻摘要任务上超过GPT-4零样本表现,接近GPT-4链式提示。
- 通过ScoreStringEvalChain和改进的PairwiseStringEvalChain等自动评估链实现人类水平的量化评估。
- 微调ChatGPT比GPT-4零样本快11倍且便宜63%,比GPT-4链式提示快33倍且便宜84%。
近日,Elicit公司机器学习工程师Charlie George在LangChain博客上发表文章介绍了他们使用合成数据微调ChatGPT在新闻摘要任务上超越GPT-4的研究成果。
文章提到,尽管GPT-4被公认为世界上最强大的语言模型,但其调用限制、高成本和高延迟也限制了其实际应用。为解决这一问题,一些开发者转而使用ChatGPT等小模型,但小模型的表现通常不如GPT-4。文章介绍了微调的思路,即调整模型参数以更好地适应具体任务,但收集人类标注数据昂贵且耗时,而传统评估指标如困惑度也无法准确反映用户体验。
为解决数据问题,采用了一种合成数据生成方法,即使用GPT-4通过链式密度(CoD)提示逐步改进其生成的摘要。然后,使用LangSmith平台收集这些改进后的摘要作为训练数据,微调ChatGPT。
在评估方面,文章认为传统的BLEU和ROUGE指标往往不能准确捕捉现代语言模型的细微差异。相比之下,人工评估虽可靠但耗时耗力。最佳方案是开发自动化评估系统,但也需要人工验证其有效性。研究者已经开发了与真人高度一致的自动化评估链ScoreStringEvalChain和PairwiseStringEvalChain。

说明:经过微调的 ChatGPT 超越了 GPT-4零样本,并接近带有 CoD 的 GPT-4

说明:经过微调的 ChatGPT 比 GPT-4零样本快11倍以上,比带 CoD 的 GPT-4快33倍

经过微调的 ChatGPT 比 GPT-4零样本便宜63%,比带 CoD 的 GPT-4便宜84%
结果显示,相比GPT-4零样本,微调后的ChatGPT在新闻摘要任务上的表现优于前者,几乎达到GPT-4链式提示的水平,但其速度提高11倍,成本降低63%。与零样本GPT-4相比,微调ChatGPT在双样本评估中获胜率达96%。
分析称,合成数据微调展现了增强语言模型能力的巨大潜力。LangChain提供了创建复杂链条和迁移到小模型的完美工具。自动化评估为快速可靠地评估实际表现提供了有效手段。这为新一代AI应用大规模部署提供了路径。
美国汽车工人罢工闹大!福特最大工厂宣布关闭:继续裁员
快科技10月15日消息,日前,福特汽车宣布再次裁员550名工人,这一决定使受罢工裁员影响的员工总数达到约2480人。福特称,由于公司的生产系统相互关联,美国汽车工人联合会(UAW)的罢工策略对各工厂产生了连锁反应。0000DeepMind验证卷积神经网络在大规模数据集上可媲美视觉变换器
核心要点:1.最近的研究表明,卷积神经网络(ConvNets)在大规模数据集上可以与视觉变换器(VisionTransformers)媲美,挑战了以往认为视觉变换器在这方面具有卓越性能的观点。2.研究团队使用NFNet模型在巨大的JFT-4B数据集上进行了训练,发现随着计算资源的增加,ConvNets的性能可以与视觉变换器相匹敌,达到了令人印象深刻的ImageNetTop-1准确度。站长网2023-10-28 07:49:220000华人创业做“AI 鞋”,在海外卖出 7500 元的高单价
处理通勤问题,是每个上班族的必修课,对张勋杰来说也是如此。(注:本文人物姓名为XunjieZhang音译)而他曾经一度依赖于滑板车这种更加灵活的交通方式,来削弱路况等不可控因素,一切都很顺利,直到有一天差点被撞。虽然很幸运毫发无伤,但生命受到威胁的经历,让他开始思考其他通勤可能。也就有了本文的“主角”,Moonwalkers。站长网2025-01-14 14:01:510000高通骁龙8 Gen4将采用台积电3nm工艺制程 预计明年下半年发布
据博主数码闲聊站的爆料,高通将于明年下半年发布新款移动平台——骁龙8Gen4,这款芯片将采用台积电的3nm工艺制程,成为高通首款3nm手机芯片。此外,除了制程工艺的升级,骁龙8Gen4的CPU核心也将不再使用Arm公版,而是采用高通自研的Nuvia架构。站长网2023-11-02 17:11:110000苹果警告睡在充电的iPhone旁有爆炸风险引热议 果粉:这是危言耸听
站长之家(ChinaZ.com)8月19日消息:近日有网友发现,苹果公司向用户发出警告,提醒手机充电时要特别注意安全,禁止将其放置在被子或枕头下充电。此外,苹果推荐使用通过"MadeforiPhone"认证的充电器和数据线,以确保用户的安全。站长网2023-08-19 15:42:040001