的大模型如何从参数中提取知识

最近一项由GoogleDeepMind、特拉维夫大学和Google研究人员进行的研究，旨在探究基于Transformer的大型语言模型（LLMs）如何存储和提取事实关联。研究采用信息流的方法，研究模型如何预测正确的属性，并观察模型在不同层次中的内部表示是如何演变的。论文地址:https://arxiv.org/abs/2304.14767