微软推出微型AI自动编码模型phi-1,击败 GPT-3.5
微软的人工智能研究人员发布了一种新的、轻量级的代码生成模型 phi-1,并且其性能优于 ChatGPT 背后的大型语言模型 GPT-3.5。
据了解, 这个基于 Transformer 的模型仅拥有13亿个参数,相比之下,Codex拥有120亿个参数。
微软的研究人员仅用了四天时间就使用 Nvidia 的8个 A100芯片来训练 phi-1。该模型使用来自网络的60亿个token以及使用 GPT-3.5生成的另外10亿个token进行训练。
在性能方面,phi-1在HumanEval基准测试中获得了50.6% 的 pass@1准确率。尽管模型小得多,但微软模型击败了 Hugging Face 和 ServiceNow 的 StarCoder (33.6%)、OpenAI 的 GPT-3.5(47%) 和谷歌的 PaLM2-S (37.6% ) 。
在MBPP pass@1测试中,phi-1表现更好,取得了55.5% 的分数。上述许多模型尚未发布该基准测试的结果,但 WizardLM 的WizardCoder在本月早些时候进行的测试中得分为51.5%。WizardCoder 是一个150亿个参数模型,而 phi-1的参数模型为13亿个。

高质量数据带来差异
微软的研究人员认为,正是“高质量数据的力量”让 phi-1表现如此出色。为了说明这一点,研究人员将他们模型的论文命名为“教科书就是你所需要的”。
他们写道:“正如一本全面、精心制作的教科书可以为学生提供掌握新学科所需的知识一样,我们的工作展示了高质量数据在磨练语言模型在代码生成任务中的熟练程度方面的显着影响。” 。
“通过制作‘教科书质量’数据,我们能够训练出一个模型,尽管模型大小缩小了10倍,数据集大小缩小了100倍,但在编码基准(例如 HumanEval 和 MBPP)上,该模型超越了几乎所有开源模型。”
与其他可用的编码模型相比,Phi-1仅限于 Python 编码。他们表示,该模型的局限性还在于它缺乏大型模型的特定领域知识,例如使用特定 API 进行编程。
为了扩展他们的工作,微软的研究人员建议使用 GPT-4而不是 GPT-3.5来生成用于模型训练的合成数据。
研究人员还将寻求提高数据集的多样性和非重复性,尽管该团队表示,他们必须找到方法“在数据生成过程中注入随机性和创造力,同时仍然保持示例的质量和连贯性。”
周鸿祎反思错过大模型技术:当时比较鸡贼 用来提高广告点击率
6月13日,360正式发布了360智脑大模型,创始人周鸿祎表示国内现在(AI大模型)你追我赶,不断地相互激励,缩小和全球领先技术的距离。之前他认为国内技术差距有一年半、两年,现在收回这句话,认为国内现在这种发展迭代速度,已经基本赶上或者接近国际平均水平。此外,周鸿祎还为之前错过大模型技术的发展表示了惭愧,反思国内公司没有先做出来通用人工智能。站长网2023-06-15 09:55:310000抖音精致妈妈才是真香啊!
各位村民好,我是村长。抖音上的好物带货账号有很多,许多小姑娘、宝妈、老大娘都在做。比如搞开箱的、图文的、宝妈的等等,有些赛道类型过于拥挤,普通人拿起手机就能拍。今天村长要和大家分享好物带货的另一个类型:精致妈妈带货,目前在好物带货领域,还是比较吃香的。01什么是精致妈妈那么有一些人肯定会问了,什么是精致妈妈?网上关于精致妈妈的定义有很多种,甚至还有精致妈妈相关的研究分析报告。站长网2023-05-06 09:03:150000蔚来李斌:阿尔卑斯品牌二季度正式发布 四季度交付
蔚来汽车在今日公布了其2023年的财务报告,并随后举行了一场电话会议。CEO兼董事长李斌在会议上,按照财报电话会的传统,详细阐述了蔚来的未来规划。站长网2024-03-06 10:22:190002百度地图AI向导大升级:多个目的地一句话搞定
快科技11月25日消息,百度地图升级AI向导”功能,规划多个目的地一句话就能搞定。过去,当我们有多个目的地需要规划一条路线时,需要通过手动一条条添加途径点来解决。现在,喊一声小度小度”,告诉TA想去哪里,要路过哪里。例如说一句我想去星巴克,路上加个油”就能直接生成路线。想要体验这一功能,更新至百度地图最新版,在首页搜索【AI向导】即可。站长网2023-11-26 04:31:590000市场监管总局:严查网络直播虚假宣传
据国家市场监管总局消息,市场监管总局近日组织开展2023年反不正当竞争“守护”专项执法行动,不断拓展反不正当竞争执法深度和广度,提升市场竞争整体质量和水平。专项执法行动突出三个重点:一是以查处互联网不正当竞争行为为重点,严厉查处刷单炒信、网络直播虚假宣传等网络不正当竞争行为,为数字经济发展保驾护航。站长网2023-04-19 11:57:240000