斯坦福博士独作

现有大语言模型的训练和推理速度，还能再快一点——快多少?2-4倍。各种大模型都在用的FlashAttention今天正式发布第2代并开源，所有Transformer架构的模型都可使用它来加速。一代方法去年6月发布，无需任何近似即可加速注意力并减少内存占用。