马斯克19天建成世界最强AI集群!10万块H100「液冷怪兽」即将觉醒
凌晨4:20,大洋彼岸的最大超算训练集群开始轰鸣。
「420」也是马斯克最喜欢玩的梗,象征着自由、不受约束和反传统。
马斯克频繁把「420」用在他的产品定价,公司开会时间和星舰一发射时间上等等。
网友也在评论区打趣马斯克超绝仪式感,不到4:20不开工。
![](https://i.zz5.net/images/article/2024/07/23/143234476.jpg)
在最新采访中,马斯克透露了更多关于新建超算和xAI模型进展:
- Grok2上个月完成了训练,大约用了15K H100
- Grok2将于下个月发布,与GPT-4相当- Grok3正在新建10万块液冷H100超算上,开始训练- 预计Grok3将在12月发布,「届时将成为世界上最强大的人工智能」
![](https://i.zz5.net/images/article/2024/07/23/143234492.jpg)
10万块液冷H100,19天完成搭建
值得注意的是,这个全球最大的超算集群,大就大在拥有10万块H100,还是液冷的那种。
![](https://i.zz5.net/images/article/2024/07/23/143234508.jpg)
10万块H100是什么概念呢?
价格上来看,H100GPU作为AI的关键组件、硅谷的热门商品,据估计每块成本在3万到4万美元之间,10万块H100就是一笔40亿的大单。
而在全美TOP5的高校机器学习博士曾发帖说,实验室H100数量为0,要用GPU得靠抢。
李飞飞也在采访里表示,斯坦福的自然语言处理小组只有64块A100GPU。
而马斯克一出手就是10万块,这个数字令评论区垂涎欲滴。
![](https://i.zz5.net/images/article/2024/07/23/143234524.jpg)
算力上来看,算力大约是OpenAI用于训练GPT4的25000块A100的20倍左右。
耗电上来看,仅仅是让这个超级计算中心维持运转,所需要的电力总功率就达到70MW,相当于这是一座普通电厂的装机容量,可满足20万人的能源需求。
今年5月,马斯克就曾表示,希望在2025年秋季前建成「超算工厂」。
现在看来,为了加速超级集群的建设,他选择了购买当前一代的H100GPU,而不是等待新一代的H200或其他即将推出的基于Blackwell的B100和B200GPU。
尽管市场预期Nvidia的新Blackwell数据中心GPU将在2024年底前上市,马斯克显然没有耐心等待。
当前AI军备竞赛越发火热,唯快不破,谁能最快地推出产品就能迅速占领市场。
xAI作为一家初创公司,更是要是与其他巨头之战中先声夺人。
在之前,马斯克与甲骨文的百亿大单就谈崩了,马斯克嫌弃甲骨文速度太慢,认为对方没有以可行的速度构建计算集群。
而甲骨文则觉得xAI建超算选址承担不了电力的需求,随着百亿订单的谈判破裂, xAI和甲骨文停止了讨论扩大现有合作的可能性。
xAI只得田纳西州孟菲斯市建设自己的人工智能数据中心,与甲骨文的合作破裂意味着xAI要自己动手单干,通过10万块H100构建独立的数据中心,以摆脱甲骨文等云提供商能力的限制。
马斯克自己也表示,xAI拥有世界最强的AI训练集群,可谓遥遥领先。
![](https://i.zz5.net/images/article/2024/07/23/143234539.jpg)
世界最强Grok-3开训,年底发
在马斯克最新一则采访中,披露了建立超算的一些细节。
据大孟菲斯商会(Greater Memphis Chamber)主席Ted Townsend透露,马斯克只花了大约一周的时间就决定将xAI的新超级计算机建造在孟菲斯。
Townsend说,经过3月份的几天旋风式谈判之后,马斯克和他的团队选择了田纳西州的这座城市,因为这里有充足的电力和快速建设的能力。
并且,仅仅花费了19天超算中心就建造完成,马斯克也在推文中赞扬了团队优秀的工作。
Supermicro公司也为xAI提供了大部分硬件支持,其CEO Charles Liang也在马斯克的推文下发表了评论,赞扬了团队的执行能力。
![](https://i.zz5.net/images/article/2024/07/23/143234555.jpg)
如此之大的训练集群,目的就是为了训练Grok3。
本月初,马斯克就宣布8月底推出Grok2,在Grok-2尚未发布的情况下,马斯克也透露了Grok-3的部分细节,为最强模型Grok3造势。
马斯克在今年4月接受挪威主权基金负责人Nicolai Tangen采访时说,Grok2需要大约2万张H100来进行训练。
Grok3将于年底发布,可以预见,基于10万个GPU训练的Grok3性能方面将比Grok2更上一层楼。
如此巨大的超算中心,自然需要大量人才和技术的支持,马斯克也继续在推特上招兵买马,让数据优势、人才优势和算力优势全部扩张到极致。
![](https://i.zz5.net/images/article/2024/07/23/143234571.jpg)
参考资料:
https://x.com/elonmusk/status/1815325410667749760
https://x.com/tsarnick/status/1815493761486708993
还不到6个月,GPTs黄了
声明:本文来自于微信公众号硅星人Pro(ID:Si-Planet),作者:Jessica,授权站长之家转载发布。上周,不少人发现微软官网忽然更新了一条“GPTBuilder即将停用”的通知。宣布将从7月10日起终止对CopilotGPT的支持,并会在四天内把平台上所有已创建的GPT连同相关数据全部删除。站长网2024-06-25 05:03:590000阿里巴巴2023年报发布:实现服务10亿中国消费者里程碑
快科技7月21日消息,今晚阿里巴巴发布了2023财年年报。年报显示,面向中国消费者的业务,在去年已经实现服务了10亿中国消费者这一重要里程碑。2023财年,阿里国际数字商业集团服务数亿海外消费者,并触达来自全球超过4700万名活跃中小企业买家。与此同时,阿里云智能集团是全球第三、亚太第一的云计算公司,服务全球400多万客户,包括80%的中国科技创新企业、60%的国家级专精特新小巨人”企业。站长网2023-07-22 16:45:110000小米14 Pro首发!雷军展示龙晶玻璃实测视频:直接拍碎普通强化玻璃
快科技10月28日消息,小米14Pro这次升级了小米龙晶玻璃,号称比普通强化玻璃耐摔10倍。雷军今天一大早就晒出了发布会上龙晶玻璃对于强化玻璃的实测视频,在对撞实验中直接将普通强化玻璃拍碎,龙晶玻璃则完好无损。官方介绍,小米龙晶玻璃的强度和硬度远超普通玻璃,抗跌落性能提升10倍,耐划性提升1.32倍。站长网2023-10-28 18:43:110002超越鸿蒙智行 理想5月销量公布:交付3.5万辆坐稳新势力第一
快科技6月1日消息,又到了月初各家公布上月销量成绩的时候,理想汽车率先交卷,上月交付35020辆,同比增长23.8%,超越鸿蒙智行,坐稳新势力第一名。不止如此,截至目前理想汽车累计交付774571辆,总交付量位居中国新势力车企第一。站长网2024-06-01 21:16:110000高德地图回应崩了 并没有发生系统全面崩溃的情况
1月29日,微博上有不少网友反映,高德打车出现故障。有北京网友说,高德打车出现故障,打了4辆车都没动;还有上海网友说,我已经上了车,也到了目的地,但是司机师傅无法操作订单上车和截单。对于这一情况,高德地图方面暂时没有回应。高德地图客服则表示,并没有发生系统全面崩溃的情况。他们猜测可能是某些区域的信号覆盖问题造成的。站长网2024-01-29 14:30:470001