微软密谋小尺寸AI模型,撇开OpenAI搞起了“B计划”
AI大模型无疑是2023年的关键词,更是各大科技厂商竞逐的热门赛道。然而象征着未来的AI大模型实在太费钱,以至于财大气粗如微软都开始考虑“Plan B”了。近日有爆料信息显示,在微软内部由Peter Lee领导的1500人研究团队中,有一部分人转向研发全新的LLM,它的体积更小、运营成本也低得多。
关于微软的小尺寸AI模型,实际上在3个月前就已经初见端倪。此前在今年6月,微软方面发布了一篇题为《Textbooks Are All You Need》的论文,用规模仅为70亿token的“教科书级别”数据训练了一个13亿参数的模型phi-1,证明高质量的小规模数据一样能够让模型具备良好的性能。并且在phi-1的基础上,此前微软研究院还发布了名为phi-1.5的全新预训练语言模型,可适用于QA问答、聊天格式和代码等场景。
根据微软方面的说法,在测试常识、语言理解和逻辑推理的基准下,phi-1.5的表现超出了相当一部分大模型。phi-1.5在带LM-Eval Harness的GPT4AL跑分套件中,可以媲美Meta旗下拥有70亿参数的开源大模型llama-2,在AGIEval得分上甚至超过了llama-2。
为什么微软要突然做小尺寸的AI模型呢?首要因素被外界认为可能是与OpenAI之间的纠葛。作为OpenAI的“金主”,微软能够在旗下产品中永久使用OpenAI现有知识产权的独家权利,但这也并不代表他们就能控制OpenAI。所以对于微软这样的巨头而言,无论是出于自身战略安全的考量,还是为了在后续与OpenAI的合作关系中占据更有利的地位,开发高质量的LLM都是一个必选项。
当然,目前AI大模型实在太耗能也是关键因素之一。在今年年初的设计自动化大会上,AMD首席技术官Mark Papermaster就展示了一张幻灯片,显示机器学习系统的能耗与全球发电情况的对比。根据国际能源署估计,训练大模型的数据中心变得越来越耗电,其用电量占全球电力消耗的1.5%至2%,大致相当于整个英国的用电量,预计2030年这个比例将上升到4%。
根据Digital Information World发布的相关报告显示,数据中心为训练AI模型产生的能耗将为常规云服务的三倍,到2028年数据中心功耗将接近4250兆瓦、比2023年增加212倍。而OpenAI训练GPT-3的耗电量为1.287吉瓦时,大约相当于120个美国家庭1年的用电量。但这还仅仅只是训练AI模型的前期电耗,仅占模型实际使用时所消耗电力的40%。
事实上,训练AI大模型不仅耗能、还费水。在谷歌方面发布的2023年环境报告中就显示,他们2022年消耗了56亿加仑(约212亿升)的水,相当于37个高尔夫球场,其中52亿加仑用于该公司的数据中心、比2021年增加了20%。
但AI大模型的高能耗是非常正常的,用ARM高级技术总监Ian Bratt的话来说,就是“AI计算需求是没法满足的。网络规模越大、结果就越好,可以解决的问题也越多,电力使用与网络规模成正比。”
有AI从业者表示,在此次疫情前,训练一个Transformer模型所需的能耗在27千瓦时的范围内,但现在Transformer模型的参数从5000万增加到了2亿,能耗也已经超过了50万千瓦时。也就是说,参数的数量增加了四倍,可能耗却增加了超过18000倍。从某种意义上来说,AI大模型带来的种种创新功能,其实都是以处理性能和功耗方面的高昂成本为代价。
更多的电力驱动更多的GPU进行AI训练,又要大量消耗水资源来冷却GPU,这就是问题所在。以至于微软被曝光正在制定一个路线图,希望用小型核反应堆产生的电能来运营数据中心。更何况即便不提ESG(“环境、社会及管治”),单纯从成本层面出发,研究小尺寸模型也是有价值的。
众所周知,搭建了CUDA生态的英伟达是这一轮AI热潮中的最大受益者,更是已经占据了AI芯片市场的70%,如今H100、A100等计算卡更可谓是一卡难求。可现在的情况,是向英伟达购买算力已经成为了一个推高AI厂商成本的重要因素。所以小尺寸模型也就意味着需要的算力资源更少,只需购买更少的GPU就能解决问题。
虽然功能更强的大模型确实很好,但现在大模型的商业化还处于蒙昧状态,唯一赚得盆满钵满的是“买铲子”的英伟达。所以在这样的情况下,微软自然也就有意来改变现状了。
2024版中国C-NCAP碰撞测试发布:7月1日起正式实施
快科技1月19日消息,我们从中汽测评官方获悉,中国新车评价规程(C-NCAP)2024版正式发布,新规将于2024年7月1日起正式实施。据悉,新规对乘员保护版块、VRU保护版块、主动安全版块的多项内容进行了修订。乘员保护板块面100%重叠刚性壁障碰撞试验,碰撞速度由2021版进行了提升,修正了二排儿童假人胸部评价指标;站长网2024-01-20 20:30:420000华为Mate 60关键参数曝光:骁龙8 4G芯片、1.5K屏幕
快科技8月4日消息,博主数码闲聊站透露,华为Mate60系列目前还没有备案,也没有进入试产阶段,因此9月份不一定能发布。值得注意的是,数码闲聊站暗示,华为Mate60系列搭载高通骁龙84G平台。站长网2023-08-05 09:10:540000九年不屈!贾跃亭:FF91首辆量产车即将下线
今日,FF创始人贾跃亭发文称:“九年不屈,终于即将迎来FF91首辆量产车下线。”贾跃亭表示,这让我们距离“智能电车时代下极智科技奢华超塔尖市场的开创者和传统超豪华汽车文明颠覆者”的梦想更进一步。洛杉矶时间4月14日下午6:00(北京时间4月15日早9:00),让我们一起在FFIntelligentAPP和其他FF官方平台见证这一重要发布时刻。站长网2023-04-13 09:39:020000羊驼进化成鲸鱼,Meta把对齐「自动化」,Humpback击败现有全部LLaMa模型
数据质量很重要。这一年来,以ChatGPT和GPT-4为代表的大语言模型(LLM)发展迅速,紧随其后,Meta开源的LLaMa、Llama2系列模型在AI界也引起的了不小的轰动。但随之而来的是争议不断,有人认为LLM存在一些不可控的风险,给人类生存构成一些潜在威胁。站长网2023-08-16 14:12:580000阿里云通义千问大模型正式向全社会开放
今天,阿里云宣布通义千问大模型已首批通过备案,并正式向公众开放,广大用户可登录通义千问官网(https://qianwen.aliyun.com/)体验,企业用户可以通过阿里云调用通义千问API(https://dashscope.console.aliyun.com/model)。站长网2023-09-13 09:29:420000