成本瘦身

数据大、参数量大、算力大，大模型的某些能力才会“涌现”，这一点在科技圈广为流传。做大模型的主流思想是:不要轻易说模型“不行”，如果“它还没行”，那就做得更大一点。所以，不到一年的时间，大模型的参数规模增长100倍，如今已经突破了万亿级别，资源消耗量巨大，也带来了越来越高的存储成本、推理成本、运维成本、落地成本……以及社会成本。