Training有多重要

越来越多研究发现，后训练对模型性能同样重要。AllenAI的机器学习研究员NathanLambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（post-training）的对齐和微调方法也在不断更新。