8B参数减半

上个月，Meta发布了Llama3.1系列模型，其中包括Meta迄今为止最大的405B模型，以及两个较小的模型，参数量分别为700亿和80亿。Llama3.1被认为是引领了开源新时代。然而，新一代的模型虽然性能强大，但部署时仍需要大量计算资源。因此，业界出现了另一种趋势，即开发小型语言模型（SLM），这种模型在许多语言任务中表现足够出色，部署起来也非常便宜。