技术加速大模型推理

要点:1.FlashDecoding是一种用于加速大模型（LLM）推理任务的新方法，可以将GPU推理提速2-4倍，同时支持NVIDIA和AMD的GPU。2.FlashDecoding的核心思想包括异步方法实现注意力计算的真正并行以及优化"矮胖"矩阵乘计算，以降低LLM的推理成本并提高推理速度。