斯坦福博士推加速推理新方法Flash

要点:1.FlashAttention团队推出了一种新的方法，Flash-Decoding，用于加速大型Transformer架构的推理，最高可提速8倍，特别适用于长上下文LLM模型。2.Flash-Decoding的优点在于使用并行操作加载Key和Value缓存，然后重新缩放和合并结果，以显著提高推理速度。