Prompt2Model:可自动生成专用NLP模型
站长网2023-09-05 10:06:560阅
文章概要:
1. Prompt2Model可以根据提示自动生成专用NLP模型,在某些情况下性能超过GPT-3.5Turbo。
2. Prompt2Model使用OpenAI的GPT-3.5Turbo生成合成训练数据,再利用预训练的Hugging Face模型进行微调。
3. Prompt2Model依赖OpenAI的GPT-3.5Turbo是商业应用的局限,正在探索使用开源语言模型。
卡内基梅隆大学和清华大学的研究人员开发了Prompt2Model系统,可以根据提示自动生成专用NLP模型。
当然,Prompt2Model 并不是GPT-4的替代品,而是用于特殊用途 NLP 模型的自动化管道,这些模型可以很好地执行特定任务,比大型模型小得多,因此可以在低端的的硬件上本地运行。
Prompt2Model系统首先将提示分解为结构化语句,然后查找可能对当前任务有用的数据集。之后利用OpenAI的GPT-3.5Turbo生成针对该任务的合成训练数据。接着识别合适的预训练模型进行微调。
研究人员在三项基准测试中评估了Prompt2Model的结果。在两项任务中,结果的Flan-T5模型表现优于GPT-3.5Turbo。但在第三项基准测试中,Prompt2Model明显落后于OpenAI模型。
Prompt2Model目前主要局限在仅支持英语的任务上。团队表示,GPT-3.5Turbo本身的语言支持有限是其原因。而Prompt2Model依赖OpenAI模型生成数据也限制了其商业应用,OpenAI禁止利用自己的模型训练可能与其竞争的模型。
不过,团队正在探索集成大规模开源语言模型来减少对专有API的依赖。
项目网址:https://github.com/neulab/prompt2model
0000
评论列表
共(0)条相关推荐
全国首个DNA存储领域预训练大模型“ChatDNA”发布
据上海人工智能研究院消息,5月21日,2023祥符创新论坛转化医学产业高峰论坛在浙江嘉善举办。在会上,上海人工智能研究院、祥符实验室、转化医学国家科学中心(上海)联合重磅发布全国首个DNA存储领域预训练大模型“ChatDNA”。站长网2023-05-22 08:47:050000把女包“死号”做到年销量百万,90后辍学少年是如何逆袭的?
把一个同行口中的“死号”做成抖音女包销售额Top10的商家需要多久?女包品牌“Oinny”主理人小北用了三年。“你可能见过凌晨四点的广州,但你一定没有在凌晨四点结束一天的直播工作时,无意间听到同行口中的‘死号’是自己付出全部心血的账号。”站长网2023-08-27 11:01:100000新研究称人工智能的进步使女性面临更大的失业风险
据一项研究显示,与男性相比,女性因ChatGPT等人工智能工具而失去工作的风险更大,该研究显示,到2030年,由女性担任的职位将被淘汰。这项由麦肯锡全球研究所发表的研究发现,近8个职位将被女性取代。有10名女性将被迫跳槽到另一家公司,或者因工作场所的人工智能和自动化而失业。站长网2023-07-27 09:37:200000Redmi K70“墨羽”配色外观公布 直边直屏设计
RedmiK70已经正式官宣,将于11月29日发布。今天,官方公布了其背部外观,展示了“墨羽”配色的效果。RedmiK70的背部设计采用了直边直屏的风格,与小米14非常相似。其摄像头区域采用了长条形的模组云阶,配备三颗摄像头,主摄为5000万像素镜头,支持OIS光学防抖,同时还有一颗2倍长焦镜头。虽然采用直边设计,但背壳边缘有比较圆润的过度,握持感更舒服。此外,K70终于用上了金属中框。站长网2023-11-24 09:54:210000网信办发布全球人工智能治理倡议
今日,国家网信办发布了《全球人工智能治理倡议》,全球人工智能治理倡议是针对人工智能技术快速发展所带来的挑战和机遇提出的倡议。倡议强调了人工智能治理的重要性,呼吁各国加强信息交流和技术合作,共同制定人工智能治理框架和标准规范。倡议强调了人工智能应以人为本,增进人类共同福祉为目标,并应尊重他国主权和法律,防范恶意使用人工智能技术。站长网2023-10-18 23:29:380000