微软发布iPhone可运行的ChatGPT级AI模型Phi-3系列 挑战OpenAI地位
近日,微软推出了一款名为Phi-3系列的小型AI模型,该模型在AI领域引起了广泛关注。Phi-3系列中的Phi-3-mini模型,仅拥有3.8B参数,却在多项基准测试中超越了拥有8B参数的Llama3模型。
微软特别强调,经过4bit量化处理的Phi-3-mini能够在iPhone14Pro和iPhone15使用的苹果A16芯片上实现每秒12token的运行速度,这标志着手机上能本地运行的最佳开源模型已经达到了ChatGPT的水平。

微软在技术报告中展示了Phi-3系列的多项优势。除了Phi-3-mini之外,还有Phi-3-small和Phi-3-medium两个版本,分别拥有7B和14B参数。Phi-3-small支持多语言,并使用了tiktoken分词器以及增加了10%多语种数据。而Phi-3-medium在更多数据上进行了训练,已在多数测试中超越了GPT-3.5和Mixtral8x7b MoE。
Phi-3系列的成功得益于其独特的训练方法。微软团队发现,仅仅增加参数量并不是提升模型性能的唯一途径。他们通过精心设计训练数据,特别是利用大型语言模型生成合成数据,并结合严格筛选的高质量数据,显著提升了中小模型的性能。Phi-3系列的训练数据量巨大,其中Phi-3-medium使用了高达4.8万亿token的数据,并通过独特的指令微调和RLHF训练,提高了模型的对话能力和安全性。
尽管如此,小型模型在存储事实和知识方面仍有局限,这从TriviaQA测试的低分中可见一斑。微软提出,通过联网接入搜索引擎可以缓解这一问题。微软研究院团队表示,他们将继续沿着小模型和数据工程的道路前进,并计划增强小模型的多语言能力和安全性。
微软的这一举措在开源社区中引起了热烈讨论,许多网友认为这给OpenAI带来了压力,需要OpenAI尽快推出GPT-3.5的后继产品以维持其在AI领域的领先地位。
论文地址:https://arxiv.org/pdf/2404.14219.pdf
1.4亿钓鱼佬背后的生意:博主年入1亿,店家开业3月关门
1.4亿钓鱼佬,有望捧出“钓鱼第一股”。11月中旬,钓鱼装备制造商乐欣户外国际有限公司正式向港交所递交上市申请。如果顺利,这家公司有望成为资本市场第一家跟钓鱼相关的上市公司。根据弗若斯特沙利文的资料,按2023年的收入计算,乐欣户外是全球最大的钓鱼装备制造商,市场份额达到20.4%。其中,在中国钓鱼装备市场,乐欣户外的市场份额达到25.4%。00001场直播卖货320万,中小企业应该这么做
│前言│最近小红书直播出现了各种风格“脱口秀”“英语直播”“小说剧场”“闲聊”的风格,给人感觉就是很松弛,直播间互动效果不要太好,甚至连转化也还不错。说到直播,大家脑海中可能会联想“321上链接”,但其实,现在的直播风格与一年前大不相同,往常我们看直播都是硬推产品,很生硬,我一般看到这种都直接划走,除非看到我比较感兴趣的品,或者是直播间很有趣。站长网2024-10-18 23:56:360000现在公众号插入小店图片可获推荐!
近日微信小店与公众号的打通迎来了新流量激励。现在,在订阅号顶部的工具栏「小店商品」中添加已关联的微信小店商品图片,发布小店相关商品图片即可能获得平台推荐。图片样式如下:在官方发布的《公众号小店商品功能使用规范》中提到,是否能被推荐取决于多项因素(包括是否符合规范的要求等)。如想要查阅是否已实际获得推荐,可通过微信公众号后台的“内容分析-单篇群发”,查看到关于内容推荐情况的详细数据。站长网2024-10-04 14:44:290000最新“只用一张图转3D”方法火了!GitHub刚建空仓就有300+人标星
最新的一种只用一张图转3D的方法名为Magic123,在GitHub上刚建立空仓就有300多人标星。与之前的方法相比,Magic123能够生成高质量、高分辨率的3D网格,并且还能细化几何结构和纹理。站长网2023-07-24 14:03:370001于乾坤:选择做“难而正确的事”,让无人驾驶跑进“快车道”
未来属于青年,希望寄予青年。作为这座城市中最积极、最有生气的力量,上海青年正在成为砥砺奋进的生力军和突击队。为选树青年典型,由青年报社策划主办的上海一线青年新榜样推选展示活动将陆续推出系列报道,充分展现新时代奋斗在一线岗位的青年人物有作为、敢担当的榜样精神,引导更多同龄人从中领悟和学习。今天我们所展示的人物是上汽集团赛可智能技术负责人于乾坤。=青年报·青春上海记者蔡娴/文施剑平/图站长网2023-05-24 18:32:010007