微软Orca

要点:1、Orca2是一个13亿参数的语言模型，通过增强的训练信号提高了小型语言模型的推理能力，与5-10倍于其大小的模型相比具有相当甚至更好的性能。2、Orca2旨在教导小型语言模型利用一系列推理技巧，并帮助其确定适合特定任务的最有效推理策略。3、Orca2通过采用谨慎推理技术，即PromptErasure，不仅可以执行具体的推理步骤，还可以在更高层面上制定任务处理策略。