重磅!GPT-3.5 Turbo推出微调功能,可以打造专属ChatGPT啦!
8月23日凌晨,OpenAI在官网宣布,推出GPT-3.5Turbo微调功能并更新API,使企业、开发人员可以使用自己的数据,结合业务用例构建专属ChatGPT。GPT-4的微调功能将于今年秋天推出。
OpenAI表示,从早期测试数据来看,GPT-3.5Turbo 的微调版本在某些特定任务上,其性能可以匹配甚至超越GPT-4的基本功能。(详细说明文档:https://platform.openai.com/docs/guides/fine-tuning)
微调功能是目前企业应用大语言模型的主要方法,例如,法律领域的Spellbook、律商联讯、Litera、Casetext等,他们通过自己积累的海量法律数据在GPT-4模型上进行微调、预训练构建法律领域的专属ChatGPT,使其回答的内容更加聚焦、安全、准确。

自GPT-3.5Turbo发布以来,开发人员和企业希望能够开发自定义大模型,为用户创造独特、差异化的产品体验。现在,OpenAI终于开放了此功能,使得人人都能打造独一无二的专属ChatGPT。
什么是微调
大语言模型的微调(Fine-tuning)是一种在预训练模型的基础上,对特定任务进行深度训练的方法。
微调的基本思想是,先在大规模文本数据上预训练一个大型的语言模型,例如,GPT-3.5,然后,使用特定任务的数据集(如法律、医疗),进一步对模型进行训练,以适应特定的任务。在这个过程中,模型的参数会进行微小的调整,使其在特定业务场景上的性能更好。
例如,如果我们有一个预训练的GPT3.5模型,想让它在法律业务上的表现更好、更专业,可以用海量法律数据集对模型进行微调。
经过微调,模型学习到如何更好地解读、生成和预测法律问题。
微调用例
根据OpenAI的官方微调说明文档,列出了以下常见用例:
设置风格、基调、格式等;
提高输出的可靠性;
纠正未能遵循复杂提示的问题;
以特定方式处理多个边缘内容;
改进可操纵性;
执行难以在提示中阐明的新技能或任务。
例如,改进可操纵性,微调功能允许企业使模型更好地遵循指令,使输出简洁或始终以特定语言进行响应。例如,开发人员可以使用微调来确保模型,在提示使用德语时始终以德语进行响应。
除了提高性能之外,微调使企业能够缩短提示时间同时保证性能。GPT-3.5-Turbo微调还可以处理4ktokens,是OpenAI之前微调模型的两倍。
早期测试人员通过对模型本身的指令进行微调,将提示大小减少了高达90%,从而加快了每个API调用的速度并降低了成本。
如何进行微调
1,准备数据,创建一组多样化的演示对话,类似于要求模型在实际输出中的对话。数据集中的每个示例都应该与OpenAI的聊天完成 API 格式相同的对话,特别是消息列表,其中每条消息都有角色、内容和可选名称。

2,上传文件

3,创建微调作业,使用 OpenAI SDK开始进行大规模数据训练、微调。训练模型可能需要几分钟或几小时,具体取决于模型和数据集大小。模型训练完成后,创建微调作业的用户将收到一封确认电子邮件。

除了创建微调作业外,开发者还可以列出现有作业、检索作业状态或取消作业。

4,使用微调模型,微调作业完成后模型可以投入使用了。

在某些情况下,用户的微调模型可能需要几分钟才能准备好处理请求。如果对模型的请求超时或找不到模型名称,可能是因为模型仍在加载中,可在几分钟后重试。

微调定价
微调分为初始训练成本和使用成本两大部分。
训练:0.008美元/1K tokens。
使用输入:0.012美元/1K tokens。
使用输出:0.016美元/1K tokens。
例如,一个GPT-3.5Turbo包含100,000个okens的训练文件并训练3个epoch的微调作业的预期成本为2.40美元。
特斯拉人形机器人集体出街!已与FSD算法打通,马斯克:比车便宜,成熟后会有100亿台
马斯克的人形机器人——特斯拉Optimus进化了,价格还“比车更低”。现在,成群结队的Optimus学会了像人一样缓慢前行:视频中它们还路过Cybertruck的生产间,满满的赛博朋克味道。而且Optimus们可不是简单的在走路而已,而是边走边发现并记忆周遭的环境:接下来,是更为细节的能力展示。例如特斯拉展示了Optimus电机转矩控制的能力,是能做到控制力道不打碎鸡蛋的那种:站长网2023-05-18 18:12:290000华为Mate X5开启60天预约申购 售价13999元起
华为商城近日为MateX5推出了60天预约申购的新模式,消费者只需全额下单后即可安心等待按顺序发货,无需再每日紧张蹲点抢购。华为MateX5的外观设计采用了独特的寰宇星门设计,四曲面的机身和温润的手感使其握持感出色。其机身重量243g,厚度5.3mm,折叠状态下的厚度为11.08mm,同时支持IPX8级抗水,显示出华为在硬件设计上的精良。0000一部《玫瑰的故事》,一群偷笑的品牌
“那你偏要去北京什么意思,北京到底有谁在啊”。《玫瑰的故事》中,方协文的这段表演全网刷屏,成为当下热门转场视频。而在线下,瑞幸联名产品黄玫瑰拿铁让剧粉狂欢。自开播以来,《玫瑰的故事》热搜不断,剧中黄亦玫与四位男神的爱恨纠葛成为热议话题。数据显示,这部剧央视收视率破2,同时创下腾讯视频都市剧热度值最快破31000纪录,实现台网双爆。站长网2024-06-27 15:11:470002这个「读博模拟器」太逼真,来试试你能被劝退几次?(手动狗头)
短短几分钟,读过博的和没读过博的人都沉默了。就在最近,一款名为“读博模拟器”(PhDSimulator)的游戏,可谓是小火了一把。因为它把整个读博士过程中的跌(狗)宕(血)起(剧)伏(情),淋漓尽致地展现了出来。没错!主打的就是一个人间真实。例如仅仅是读一篇论文,就会遇到“idea重复”、“浏览器崩溃”等情况:站长网2023-08-14 16:16:550000Kimi悄悄更新智能体功能Kimi+ 增加小红书爆款生成等功能
昨晚,Kimi悄悄更新了自己的智能体功能Kimi。Kimi是一个增强版的智能体,它在原有的基础上增加了许多实用的功能,比如:什么值得买驱动的商品挑选,学术搜索,旅行规划师、小红书爆款生成器,论文写作助手,还有翻译、内容改写等常用功能。站长网2024-04-30 15:54:570001