参数达到300亿

要点:苹果发布了多模态大型语言模型MM1，参数达到300亿，采用MoE架构，超半数作者为华人。MM1在模型架构、预训练数据选择和训练方法上进行了详细探讨，并在多项基准测试中表现出竞争力。MM1的预训练和监督微调结果显示，采用不同的数据和训练策略可以获得更好的性能，MoE模型进一步扩展了潜力。