训练过程存在

高性能大模型在训练的过程中通常需要数千个GPU，耗费数月甚至更长时间才能完成一次训练。这种巨大的资源投入使得模型的每一层都必须高效训练，才能确保算力资源最大化利用。但大连理工、西湖大学、牛津大学等研究人员对DeepSeek、Qwen、Llama和Mistral研究发现，这些模型的深层在训练过程中表现并不好，甚至可以被完全剪枝而不会影响模型性能。