2训练

大神Karpathy已经不满足于用C语言造Llama了!他给自己的最新挑战:复现OpenAI经典成果，从基础版GPT-2开始。挑战成功本身并不意外，但是只花费20美元、90分钟完成训练，Loss和评测还超越原版，就!有!点!过!分!了!。不仅如此，他把复现过程写成了完整教程，果不其然再次火爆。由于Karpathy自己租用的是A100云服务，训练124M版本花费20了美元。