登陆注册

喊话三年超过英伟达

  • Groq​大模型推理芯片每秒500tokens超越GPU,喊话三年超过英伟达

    划重点:1.Groq公司推出的大模型推理芯片,每秒500tokens的惊人速度超越了传统GPU,挑战谷歌TPU。2.该芯片由初创公司Groq研发,由谷歌TPU团队原班人马打造,推理速度提高10倍,成本降低十分之一,支持多种大模型。3.Groq的目标是在三年内超越英伟达,采用自创的LPU方案,克服计算密度和内存带宽瓶颈,实现18倍于云平台速度的推理性能。
    站长网2024-02-20 14:23:50
    0000