智源发布FlagAttention算子集

为了满足大模型对计算资源的需求，智源研究院开发了FlagAttention项目，旨在构建一套适配多种芯片的大模型核心算子集合。该项目选择使用Triton作为开发语言，通过Triton的开放性和易用性，使得FlagAttention不仅支持NVIDIAGPU，还可以显著降低不同芯片之间模型适配的成本，提高大模型的训练与推理效率。