开源MoE模算效率黑马登场

【新智元导读】马斯克最近哭穷表示，xAI需要部署10万个H100才能训出Grok3，影响全球的大模型算力荒怎么解?昨天开源的这款MoE大模型，只用了1/19算力、1/19激活参数，性能就直接全面对标Llama3-70B!如今，想训个SOTA的大模型，不仅缺数据和算力，甚至连电都不够用了。最近马斯克就公开表示，因为苦于买不到足够的芯片，xAI只能推迟Gork2的训练和发布。