充分利用负样本提升大语言模型推理能力

要点:小红书搜索算法团队在AAAI2024上提出了一种创新框架，利用负样本知识来提升大语言模型（LLMs）的推理能力。他们设计了一个模型专业化框架，包括负向协助训练（NAT）、负向校准增强(NCE)和动态自洽性(ASC)等序列化步骤，全面利用负样本在知识蒸馏中的关键作用。