分步蒸馏

【新智元导读】LLM不实用，小模型蒸馏才是「现实」的大模型应用路线，全面领先微调技术!土豪请无视。。。大型语言模型虽然性能优异，可以用零样本或少样本提示解决新任务，但LLM在实际应用部署时却很不实用，内存利用效率低，并且需要大量计算资源。