智源研究院推出新一代多模态小模型Bunny

智源研究院近期提出了一项新技术，通过数据浓缩技术获得高质量训练数据，从而提升多模态小模型的性能。具体来说，他们将LAION-2B压缩成2M核心集，得到更丰富的预训练数据，同时精选数据集进行指令微调，训练出性能强劲的小模型。这一技术路线带来了新一代多模态小模型Bunny系列，其中Bunny-3B表现出色，在多个基准上超越了其他近期热门模型，与大模型相媲美。