Transformer模型无法超越训练数据进行泛化

要点:1.谷歌DeepMind的研究人员进行了实验，研究Transformer模型是否能够在超出预训练数据范围之外泛化出新的认知和能力，他们得出结论认为几乎不可能。2.研究关注了预训练过程中使用的数据对Transformer模型的少样本学习能力的影响，发现模型在上下文学习过程中可以在预训练的函数类别中进行模型选择，但难以超出其预训练数据的范围。