FlashAttention-4: アルゴリズムとカーネルパイプライニング
FlashAttention-4は、非対称ハードウェアスケーリングに対応するため、アテンションアルゴリズムとカーネルパイプライニングを協調設計した新手法である。メモリアクセスパターンと計算スケジューリングを最適化することで、異種ハードウェア環境におけるTransformerモデルの推論・学習効率を大幅に向上させる。
背景メモ
FlashAttentionは、大規模言語モデル（LLM）の学習・推論で中心的な処理である「アテンション計算」を高速化する、事実上の標準アルゴリズム群。従来のアテンションは、巨大な注意行列（スコア行列）をメモリ上に一度生成してから演算するが、FlashAttentionはそれを分割計算＋チップ内キャッシュ（SRAM）最適化で劇的に高速化した。
- FlashAttention-4の最大の新機軸は「非対称ハードウェアスケーリング」への対応。GPUや専用AIチップ（TPUなど）は世代ごとに演算コアとメモリ帯域の伸び率が異なるが、従来のFlashAttention（v1〜v3）はそれを前提条件として固定していた。
- 提案手法は「アルゴリズムとカーネル（GPUで動く計算単位）のパイプラインを協調設計（co-design）」し、ハードウェアの非対称性（例：演算能力は急増するがメモリ帯域は伸び悩む）に動的に適応する。
- これにより、NVIDIAの次世代GPU（Blackwell世代など）や、AMD・Intelの競合チップでも、メモリ律速にならずに高い演算効率を維持できる。
- 共著者にはTri Dao氏（FlashAttentionのオリジナル考案者）も名を連ねており、業界の標準がさらに進化した形。