更小

站长之家(ChinaZ.com)1月31日消息：MistralAI和Allen人工智能研究所今天发布了新的大型语言模型（LLM），它们声称这些模型在各自类别中属于最先进的。Mistral的模型被称为MistralSmall3，而Allen人工智能研究所（通常简称Ai2）发布的则是Tülu3405B。这两款模型都可以在开源许可下使用。

要点:1.近年来，大型语言模型的发展迅猛，BERT成为其中最受欢迎和高效的模型，但其复杂性和可扩展性成为问题。2.为了解决这个问题，采用了知识蒸馏、量化和修剪等压缩算法，其中知识蒸馏是主要的方法，通过让较小的模型模仿较大模型的行为来实现模型压缩。