671B大模型训练只需此前算力1

DeepSeek新版模型正式发布，技术大佬们都转疯了!延续便宜大碗特点的基础之上，DeepSeekV3发布即完全开源，直接用了53页论文把训练细节和盘托出的那种。怎么说呢，QLoRA一作的一个词评价就是:优雅。具体来说，DeepSeekV3是一个参数量为671B的MoE模型，激活37B，在14.8T高质量token上进行了预训练。