FlashAttention-4：算法与内核流水线
FlashAttention-4 引入了算法与内核流水线的协同设计，以应对非对称硬件扩展带来的挑战。通过优化注意力计算的内存访问模式与并行调度策略，该方法显著提升了在大规模非对称硬件（如异构内存或计算单元）上的运行效率与可扩展性。
背景速读
- FlashAttention 是用于加速大语言模型（LLM）训练和推理的核心算法，解决了传统注意力机制在长序列下显存爆炸和速度慢的问题。前几代（FA1/FA2/FA3）已广泛应用于主流 AI 框架和 GPU 上。
- 本文介绍的 FlashAttention-4（FA4）由斯坦福的 Tri Dao（闪念系列作者）与 Colfax Research 合作提出，针对**不对称硬件扩展**场景——即 GPU 计算速度远超显存带宽的瓶颈。
- 核心创新包括：一种新的并行调度方案"生产者-消费者并行计算"，让负责计算注意力分数的"生产者"和负责读写显存的"消费者"互相掩盖延迟；以及一套"松弛步进机制"，根据硬件特性动态调整流水线节奏。
- 意义在于：FA4 能在 NVIDIA 最新 GPU（如 H100/B200）上实现平均 1.6×、最高 2.7× 的端到端加速，且无需牺牲模型精度或改变 API 接口，属于直接替代现有 FlashAttention 的即插即用升级。