Groq最快AI推理芯片成本推算高得离谱 运行LIama2得1171万美元
划重点:
- 💰 以1171万美元的成本运行 LIama2,引发热议
- 💻 Groq 的芯片性能高,但成本也随之增加
- 🔍 分析师对 Groq 成本和效益进行评估,与英伟达 GPU 进行对比
最近,Groq 公司推出了一款号称性价比高达英伟达 GPU100倍的 AI 推理芯片,引起了广泛关注。然而,运行其最快 AI 推理芯片 LIama2所需的成本高达1171万美元,让业内人士开始对其效益进行热议。网友们通过粗略估算发现,为了运行 LIama2,需要大约购买568块芯片,这一高昂的成本引发了许多讨论。
在成本问题上,与英伟达 GPU 进行对比也成为了焦点。据分析,为了运行单个 LLama70B 模型,需要购买约320张芯片,总成本约为1千万美元。相较之下,英伟达的 H100卡性能虽然一半于 Groq,但价格仅为30万美元,采购和运营成本更低。这些数据让人开始重新评估 Groq 芯片的性价比。
除了网友们的讨论,一些分析师也加入了对 Groq 芯片成本和效益的评估。根据其中一位分析师的计算,运行 LLaMA70b 模型需要572张芯片,每年电费将花费25.4万美元。相比之下,使用4张 H100卡可以实现 Groq 一半的性能,且采购和运营成本更低,这进一步凸显了 Groq 成本的挑战。
在这场关于 Groq 芯片成本和效益的讨论中,公司本身也积极参与。Groq 回应称,他们的目标客户不是单卡用户,且他们的芯片价格实惠高效,由于自主研发芯片到系统的整套流程,没有中间商。然而,对于 Groq 是否能撼动英伟达的地位,业内人士持观望态度,认为还需进一步观察。整体而言,Groq 推出的 AI 推理芯片在性能上取得了突破,但成本问题仍需解决。
项目入口:https://top.aibase.com/tool/groq
相关阅读:Groq大模型推理芯片每秒500tokens超越GPU,喊话三年超过英伟达
腾讯捐赠2000万元紧急驰援甘肃临夏州积石山地震
12月18日,甘肃省临夏州积石山县发生6.2级,灾情十分严重。刚刚,腾讯宣布,腾讯公益慈善基金会紧急宣布捐款2000万元,捐赠资金将用于响应甘肃、青海受灾地区紧急救援、过渡安置暖冬物资,灾后恢复重建以工代赈等工作。据悉,此前,腾讯公益慈善基金会已于18日当晚联合中国乡村发展基金会、壹基金、爱德基金会、中国红十字基金会、中华社会救助基金会进行甘肃灾区温暖家园专项救援。0000谷歌Bard扩展YouTube Extension功能 可回答与视频相关的具体问题
要点:Google的BardAI聊天机器人现在可以回答关于YouTube视频的问题。Bard通过扩展YouTubeExtension的功能,不仅可以找到特定视频,还可以回答与视频内容相关的具体问题,提供更深入的视频交流体验。站长网2023-11-23 09:39:280000谷歌斥资20亿美元战略投资AI初创公司Anthropic
划重点:1.谷歌宣布向Anthropic投资20亿美元,进一步巩固其在快速发展的人工智能领域的地位,引发行业动态深刻转变。2.谷歌的投资不仅仅是财务支持,还是战略合作,旨在加速Anthropic的人工智能创新,同时巩固GoogleCloud在尖端AI研究和部署的地位。3.亚马逊也对Anthropic进行重大投资,进一步证明其潜力,并将其置于高风险的技术竞争中。站长网2023-10-30 10:09:060000小米14 Ultra影像系统再升级 搭载索尼LYT-900一英寸主摄
小米14Ultra即将于2月22日晚7点与大家见面。作为小米的又一力作,其影像系统自然成为了众人关注的焦点。今天,小米为我们提前揭示了部分令人瞩目的影像技术细节。站长网2024-02-19 10:56:410000AI 芯片需求爆发英伟达、博通、AMD 争相投片 台积电下半年业绩回升
根据DigiTimes的消息,台积电下半年的营收预计将有显著回升。除了新款iPhone的发布外,英伟达、博通和AMD都将在台积电进行投片生产。由于人工智能领域的需求增长,这三家公司从第二季度开始逐季增加台积电5/7纳米制程订单,并竞相争取台积电的CoWoS封装技术,这种追单势头预计将持续到2024年,总订单规模比2023年至少增加了20%以上。站长网2023-07-04 00:15:480002