斯坦福大学

在语言模型中，上下文窗口对于理解和生成与特定上下文相关的文本至关重要。一般而言较大的上下文窗口可以提供更丰富的语义信息、消除歧义。由于硬件和算法的最新进步，大模型的上下文窗口的长度也越来越“卷”。其中的卷王当属Anthropic公司，其五月份就将Claude的上下文窗口从9ktoken扩展到了100k。最近更新的Claude2更是让其100K的上下文能力“常驻”模型。

斯坦福大学著名的以人为中心的人工智能研究所（HAI）表示，对10个主要基础模型的调查显示，它们“基本上不”遵守欧盟的人工智能法案。得分最高的基础模型是Bloom，它是HuggingFace的开源模型，于2022年7月发布，是一个大型多语言模型，具有多达1760亿个参数，旨在通用。