大模型推理芯片每秒500tokens超越GPU

划重点:1.Groq公司推出的大模型推理芯片，每秒500tokens的惊人速度超越了传统GPU，挑战谷歌TPU。2.该芯片由初创公司Groq研发，由谷歌TPU团队原班人马打造，推理速度提高10倍，成本降低十分之一，支持多种大模型。3.Groq的目标是在三年内超越英伟达，采用自创的LPU方案，克服计算密度和内存带宽瓶颈，实现18倍于云平台速度的推理性能。