Cocktail模型治理策略

智源研究院最近发布了LM-Cocktail模型治理策略，旨在为大模型开发者提供一个低成本持续提升模型性能的方式。该策略通过融合多个模型的优势，实现在目标任务上性能的提升，同时保持在通用任务上的强大能力。LM-Cocktail可以帮助开发者将多个模型的优势能力汇总起来，生成一个具备多种特长的“多技能”模型。通过少量样例计算加权权重，可以融合现有模型，无需重新训练。