模型越笨

在语言模型中，上下文窗口对于理解和生成与特定上下文相关的文本至关重要。一般而言较大的上下文窗口可以提供更丰富的语义信息、消除歧义。由于硬件和算法的最新进步，大模型的上下文窗口的长度也越来越“卷”。其中的卷王当属Anthropic公司，其五月份就将Claude的上下文窗口从9ktoken扩展到了100k。最近更新的Claude2更是让其100K的上下文能力“常驻”模型。