语言模型causalLM在上下文学习中不如prefixLM

近期的研究发现，在上下文学习中，基于Transformer的前缀语言模型（prefixLM）表现更优于因果语言模型(causalLM)，然而目前仍缺乏这一差异的理论解释。本文采用理论分析和实验验证，揭示了前缀语言模型和因果语言模型在上下文学习中的性能差异，并证明了前缀语言模型在收敛行为和优化解上的优势。