深入了解 Meta 追赶 AI 的步伐:迟迟未用 GPU 导致人工智能落后对手
根据路透社查阅的一份日期为 9 月 20 日的公司备忘录,在 2022 年夏天即将结束时,Meta 公司首席执行官马克·扎克伯格召集他的高级副手,对公司的计算能力进行了 5 个小时的剖析,重点是其从事尖端人工智能工作的能力。
他们遇到了一个棘手的问题:根据该备忘录、公司声明和对 12 名熟悉这些变化的人的采访,尽管该社交媒体巨头在人工智能研究方面进行了高调投资,但在为其主要业务采用昂贵的人工智能友好型硬件和软件系统方面一直进展缓慢,阻碍了其与大规模创新保持同步的能力,即使它越来越依赖人工智能来支持其增长,这些人在讨论公司内部事务时是匿名发言。
「当涉及到为人工智能开发时,我们在工具、工作流程和流程方面有很大差距。我们需要在这方面进行大量投资,」由新任基础设施主管 Santosh Janardhan 撰写的备忘录说,该备忘录于 9 月发布在 Meta 的内部留言板上,现在是第一次被报道。
该备忘录指出,支持人工智能的工作需要 Meta「从根本上转变我们的物理基础设施设计、软件系统和提供稳定平台的方法」。
一年多来,Meta 公司一直在进行一项大规模的项目,将其人工智能基础设施提升到最佳状态。虽然 Meta 已经公开承认在人工智能硬件趋势方面「有些落后」,但是彻底改革的细节,包括产能紧缩、领导层变革和放弃人工智能芯片项目等,以前还没有被报道过。
Meta 发言人 Jon Carvill 被问及备忘录和公司重组信息时表示,公司「在创建和部署规模化现代化基础设施方面拥有良好的记录,并在人工智能研究和工程方面有深厚的专业知识。」
「我们有信心继续扩大我们基础设施的能力,以满足我们的近期和长期需求,因为我们为我们的应用和消费者产品系列带来了新的人工智能驱动的体验,」Carvill 说。他拒绝评论 Meta 是否放弃了其人工智能芯片。
根据 Meta 公司披露的信息,这次大修使 Meta 公司的资本支出每季度激增约 40 亿美元——几乎是截至 2021 年支出的两倍—并导致其暂停或取消之前计划在四个地方建设的数据中心。
这些投资恰逢 Meta 公司面临严重的财务紧缩期,该公司自 11 月以来一直在裁员,裁员规模是网络泡沫破灭以来所没有的。
与此同时,微软支持的 OpenAI 的 ChatGPT 在 11 月 30 日首次亮相后,迅速成为历史上增长最快的消费者应用,引发了科技巨头之间的军备竞赛,以发布使用所谓的生成式人工智能的产品。这种技术不仅能够像其他 AI 一样识别数据模式,而且还能根据提示创建类似于人类的书面和视觉内容。
据五位消息人士称,生成式 AI 需要大量的计算能力,加剧了 Meta 的计算资源紧迫性。这五位消息人士表示,这些问题的一个关键源头可以追溯到 Meta 对图形处理器 (GPU) 在 AI 工作中的迟缓接受。
GPU 芯片非常适合人工智能处理,因为它们可以同时执行大量的任务,缩短处理数十亿条数据所需的时间。但是,GPU 比其他芯片更昂贵,芯片制造商 Nvidia 控制着市场的 80%,并保持着支配性的领先优势。
在去年之前,Meta 在很大程度上使用该公司的商品中央处理器(CPU)运行 AI 工作负载,这是计算世界的主力芯片,几十年来一直充斥着数据中心,但 AI 工作的表现很差。
根据其中两个消息来源,该公司还开始使用其内部设计的定制芯片进行推理计算,这是一个人工智能过程,在这个过程中,在海量数据上训练的算法会做出判断并对提示产生反应。
这两位人士说,到 2021 年,这种双管齐下的方法被证明比围绕 GPU 构建的方法更慢,效率更低,而 GPU 在运行不同类型的模型方面也比 Meta 的芯片更灵活。
在扎克伯格将公司转向元宇宙时,四位消息人士表示,容量压力减缓了其运用 AI 响应威胁的能力,如社交媒体竞争对手 TikTok 的崛起和苹果主导的广告隐私更改。
在退出该公司之前的一次董事会会议上,前 Meta 董事会成员彼得·蒂尔没有说明原因而辞职,并告诉扎克伯格和他的高管,他们在关注元宇宙的同时对 Meta 的核心社交媒体业务过于自满和忽视了 TikTok 的挑战,据两位熟悉交流的人士透露。
经过一番努力,Meta 开始重新规划其数据中心以适应正在到来的 GPU,这些芯片比 CPU 更加耗电且发热更多,必须密集地聚集在一起,并采用专门的网络连接。
Meta 接下来开始重新调整其人工智能部门,任命了两位新的工程主管,包括九月备忘录的作者 Janardhan。
在那几个月的动乱中,超过十几位高管离开了 Meta,这几乎更改了人工智能基础设施的领导层。
在扩大 GPU 容量的同时,Meta 目前尚无多少可供竞争对手如微软和谷歌推广商业化生成式 AI 产品的成果。
首席财务官 Susan Li 承认,Meta 目前并没有将其当前的计算能力用于生成式工作,称「我们所有的人工智能容量基本都用于广告、feeds 和 Reels」,这是类似于 TikTok 的短视频格式,深受年轻用户的喜爱。
四位消息人士表示,Meta 直到 11 月推出 ChatGPT 之后才开始优先考虑构建生成式 AI 产品。尽管其研究实验室 FAIR 在 2021 年底以来一直在发布该技术的原型,但公司并未专注于将其公认的研究转化为产品。
随着投资者的兴趣飙升,这种情况正在改变。扎克伯格在 2 月份宣布了一个新的高层生成式 AI 团队,他表示这将「快速推动」该公司在该领域的工作。
首席技术官安德鲁·博斯沃斯也在本月表示,生成式 AI 是他和扎克伯格花费时间最多的领域,预测 Meta 将在今年推出产品。
两位熟悉新团队的人士表示,该团队的工作处于早期阶段,主要集中在建立基础模型,这是一个核心程序,稍后可以微调和适应不同的产品。
苹果拟推出迄今最小台式电脑:Mac mini将全新设计
苹果公司即将推出一款全新设计的Macmini,这将是苹果迄今为止最小巧的台式电脑。这款新产品标志着自乔布斯时代以来Macmini首次进行重大设计更新,尽管过去的设计已经沿用了十多年,但至今仍被视为经典之作。站长网2024-08-10 03:53:020000百度搜索整合文心一言,新增“AI对话”
近期,AI大模型在科技圈可谓是“红的发紫”。国内各科技公司纷纷宣布推出自己的大模型。近日,百度搜索开始小范围公测生成式AI“对话”功能。据悉,该产品基于百度知识增强大语言模型文心一言打造,对标微软搜索引擎必应整合OpenAI公司ChatGPT服务后的NewBing。站长网2023-05-11 09:37:520006AI误判!美国教授用ChatGPT「证实」论文抄袭 一半学生挂科
一位得克萨斯农工大学的教授,因为对ChatGPT的原理一窍不通,误以为它可以识别由AI生成的内容,结果导致班上一多半人的论文被ChatGPT误判为抄袭,学校拒发了他们的毕业证。一些学生提供了带有时间戳的GoogleDocs来证明自己没有使用ChatGPT,但教授无视了这些证据。目前,事件正在调查中,个别学生的文凭将被扣留,直到调查完成。站长网2023-05-18 15:23:380000Midjourney v6下周将补齐缩放平移及视频生成等功能
Midjourneyofficetime最新信息显示,在下周即将推出的v6版本中,将引入一些新功能,包括缩放、平移和改变区域的能力,这是v5版本中所不具备的。风格一致性也将在这个版本中率先推出,用户将能够复制风格,这无疑是一个令人兴奋的功能。而本次发行版本beta将转移到alpha版本,更精细的调整模型将成为亮点。站长网2024-01-18 09:48:25000015岁山东初中生做CTO,开源项目刚刚被数百万元收购了
「一切皆有可能。」这是一位15岁的CTO放在个人主页上的第一句话。最近,他的开源项目ChatNio被百万收购。从0开始到拿到七位数的第一桶金,他仅用了不到两年的时间,期间还经历了中考,现在刚上高一。0001