000个H100

3月13日，社交、科技巨头Meta在官网公布了两个全新的24KH100GPU集群（49，152个），专门用于训练大模型Llama-3。此外，Llama-3使用了RoCEv2网络，基于Tectonic/Hammerspace的NFS/FUSE网络存储，继续使用了PyTorch机器学习库。