每秒20个token

【新智元导读】现在，34BCodeLlama模型已经能够在M2Ultra上的Mac运行了，而且推理速度超过每秒20个token，背后杀器竟是「投机采样」。开源社区的一位开发者GeorgiGerganov发现，自己可以在M2Ultra上运行全F16精度的34BCodeLlama模型，而且推理速度超过了20token/s。