大模型尺寸正在重走CNN的老路

Transformer大模型尺寸变化，正在重走CNN的老路!看到大家都被LLaMA3.1吸引了注意力，贾扬清发出如此感慨。拿大模型尺寸的发展，和CNN的发展作对比，就能发现一个明显的趋势和现象:在ImageNet时代，研究人员和技术从业者见证了参数规模的快速增长，然后又开始转向更小、更高效的模型。