逻辑推理大翻车

要点:1.大模型逻辑推理表现受前提顺序影响，打乱顺序可导致性能下降30%。2.改变前提叙述顺序对大模型推理表现有重大影响，GeminiPro、GPT-3.5-Turbo表现下降。3.逻辑推理中改变前提顺序让LLM性能大幅下降，需要进一步研究解决。近期，谷歌DeepMind和斯坦福的研究人员发现大型语言模型在处理逻辑推理任务时，前提信息的呈现顺序对其表现具有决定性影响。