微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了
Llama3发布刚几天,微软就出手截胡了?

刚刚发布的Phi-3系列小模型技术报告,引起AI圈热议。

其中仅3.8B参数的Phi-3-mini在多项基准测试中超过了Llama38B。
为了方便开源社区使用,还特意设计成了与Llama系列兼容的结构。

微软这次打出“手机就能直接跑的小模型”的旗号,4bit量化后的phi-3-mini在iPhone14pro和iPhone15使用的苹果A16芯片上跑到每秒12token。

这意味着,现在手机上能本地运行的最佳开源模型,已经做到ChatGPT水平。

在技术报告中还玩了一把花活,让phi-3-mini自己解释为什么构建小到手机能跑的模型很令人惊叹。

除了mini杯之外,小杯中杯也一并发布:
Phi-3-small,7B参数,为支持多语言换用了tiktoken分词器,并额外增加10%多语种数据。
Phi-3-medium,14B参数,在更多数据上训练,多数测试中已超越GPT-3.5和Mixtral8x7b MoE。
(大杯他们目前不打算做)
作者阵容一看也不简单,一眼扫过去MSRA和MSR雷蒙德团队都投入了不少人。

那么,Phi-3系列到底有什么独特之处呢?
根据技术报告中披露,其核心秘诀就在于数据。
去年团队就发现,单纯堆砌参数量并不是提升模型性能的唯一路径。
反而是精心设计训练数据,尤其是利用大语言模型本身去生成合成数据,配合严格过滤的高质量数据,反而能让中小模型的能力大幅跃升。
也就是训练阶段只接触教科书级别的高质量数据,Textbooks are all you need。

Phi-3也延续了这一思路,这次他们更是下了血本:
投喂了多达3.3万亿token的训练数据(medium中杯是4.8万亿)
大幅强化了数据的”教育水平”过滤
更多样化的合成数据,涵盖逻辑推理、知识问答等多种技能
独特的指令微调和RLHF训练,大幅提升对话和安全性
举个例子,比如某一天足球比赛的结果可能对于大模型是良好的训练数据,但微软团队删除了这些加强知识的数据,留下更多能提高模型推理能力的数据。
这样一来,对比Llama-2系列,就可以用更小的参数获得更高的MMLU测试分数了。

不过小模型毕竟是小模型,也不可避免存在一些弱点。
微软透露,模型本身参数中没能力存储太多事实和知识,这一点也可以从TriviaQA测试分数低看出来。
缓解办法就是联网接入搜索引擎增强。

总之,微软研究院团队是铁了心了要在小模型 数据工程这条路上走下去,未来还打算继续增强小模型的多语言能力、安全性等指标。
对于开源小模型超过ChatGPT这回事,不少网友都认为压力现在给到OpenAI这边,需要赶快推出GPT-3.5的继任者了。

参考链接:
[1]https://arxiv.org/abs/2404.14219
科大讯飞星火认知大模型V3.0正式发布 对标ChatGPT 3.5
在今日的2023科大讯飞全球1024开发者节上,科大讯飞宣布,讯飞星火认知大模型V3.0正式发布,目前星火大模型已整体超越ChatGPT。科大讯飞董事长刘庆峰表示,今年的5月6号,讯飞星火正式发布,到现在为止已经历经了两次升级。讯飞星火3.0,它的标志是通用模型,要对标ChatGPT3.5,中文超越,英文相当。站长网2023-10-25 00:22:340000HomeCourt:用AR技术让篮球训练变得更有趣
HomeCourt是NBA的官方合作伙伴,利用增强现实(AR)技术实时捕捉动作,并智能分析来帮助提高篮球训练技能。用户可以通过手机或平板电脑的摄像头追踪运动,记录表现和统计数据。官网地址:https://www.homecourt.ai/此外,HomeCourt还提供各种互动训练和挑战游戏,增加训练的乐趣。利用AR技术,训练就像玩视频游戏一样,包括虚拟目标、音频提示、奖励级别、积分和徽章。站长网2023-12-18 17:04:130000易点天下推出AIGC创作平台 提供AI数字人、AI模特等解决方案
根据易点天下官方公众号发布的消息,该科技公司在本周三正式对外推出了一款名为KreadoAI的创新型生成式AI(AIGC)数字营销创作平台。报告明确指出,KreadoAI将面向全球范围的创意人才提供四大主要的解决方案,分别为AI数字人、AI模特,以及AI工具和AI创意资产。站长网2023-07-17 23:38:120000Midjourney 升级 GPU 集群 提高图片生成速度
Midjourney今天宣布进行了GPU集群的升级。升级后,Pro和Mega级别的订阅用户将获得1.5倍的加速效果,图片生成时间将从约50秒缩短到30秒左右。此外,渲染的成本也将随之降低。站长网2023-08-11 16:35:460000DevOpsGPT: AI自动完成软件开发 提高开发效率
DevOpsGPT是一个基于人工智能的软件开发自动化解决方案,将自然语言需求转化为可工作的软件。通过结合LLM(大型语言模型)和DevOps工具,DevOpsGPT极大地提高了开发效率,缩短了开发周期,并降低了沟通成本,从而实现了更高质量的软件交付。项目地址:https://github.com/kuafuai/DevOpsGPT核心功能:站长网2023-08-04 10:19:550000