Transformer时刻

“MoE”加上“前所未有大规模投入生产环境的LightningAttention”，再加上“从框架到CUDA层面的如软件和工程重构”，会得到什么？答案是，一个追平了顶级模型能力、且把上下文长度提升到400万token级别的新模型。