FlashAttention-4：算法与内核流水线
FlashAttention-4 通过算法与内核流水线的协同设计，针对非对称硬件扩展场景优化注意力机制计算。该技术旨在提升大模型在异构硬件上的训练与推理效率，通过精细化的流水线调度减少内存访问瓶颈，从而在保持精度的同时实现更高的吞吐量。
背景速读
FlashAttention 是一种高效的注意力机制算法，旨在解决 Transformer 模型中注意力计算的内存和速度瓶颈。前三版（FA1/2/3）已极大优化了 GPU 上的计算效率，成为大语言模型训练和推理的关键基础设施。FA4 由 Colfax Research（一家专注高性能计算优化的机构）与主流 GPU 厂商（如 NVIDIA、AMD）的架构师共同设计，针对新一代 GPU（如 Blackwell）中算力与显存带宽增长不均衡（asymmetric scaling）的问题，提出“算法-内核流水线协同设计”（algorithm and kernel pipelining co-design），通过将注意力计算拆分、预取和重叠执行，消除流水线气泡。这篇技术报告详细介绍了 FA4 的算法原理、CUDA 内核实现及 Benchmark 数据。