上交大新框架让LLM推理增速11倍

原本需要一张16万元的80GA100干的活，现在只需要一张不到2万元的24G4090就够了!上海交大IPADS实验室推出的开源推理框架PowerInfer，让大模型推理速度加快了11倍。而且不用量化，就用FP16精度，也能让40B模型在个人电脑上运行;如果加入量化，2080Ti也能流畅运行70B模型。