10倍H100拥有成本

【新智元导读】SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解，测算出其持有成本依然高达现有H100的10倍，看来要赶上老黄的步伐，初创公司还有很多要做。最近爆火的AI初创公司Groq，推出了比目前常见GPU推理系统快4倍，成本低70%的大模型推理解决方案。