GPU训完超万亿参数LLM

用AMD的软硬件系统也能训练GPT-3.5级别的大模型了。位于美国橡树岭国家实验室（OakRidgeNationalLaboratory）的全世界最大的超算Frontier，集合了37888个MI250XGPU和9472个Epyc7A53CPU。图源备注：图片由AI生成，图片授权服务商Midjourney