英伟达nGPT重塑Transformer

【新智元导读】LLM训练速度还可以再飙升20倍!英伟达团队祭出全新架构归一化Transformer（nGPT），上下文越长，训练速度越快，还能维持原有精度。AI的未来，或许就此改写......最近，英伟达团队抛出的一枚重磅炸弹，提出了全新神经网络架构——归一化Transformer（nGPT），基于超球面(hypersphere)进行表示学习。