GPUにおけるレイテンシ隠蔽の理解 [pdf]
本論文は、GPUアーキテクチャにおけるレイテンシ隠蔽のメカニズムを包括的に分析する。命令レベル並列性とスレッドレベル並列性の相互作用を調査し、メモリアクセスレイテンシを隠蔽するための warp スケジューリング手法の効果を評価する。実測データに基づき、様々なワークロードにおけるレイテンシ隠蔽の限界と最適化手法を明らかにする。
背景メモ
- GPU（Graphics Processing Unit）は多数のコアで並列計算を行うプロセッサだが、メモリアクセスが演算に比べて極めて遅いことが性能のボトルネックになる。
- 「レイテンシ隠蔽（latency hiding）」とは、あるスレッドがメモリからのデータ待ちで停止している間に別のスレッドを実行することで、計算ユニットを遊ばせずに済ませるGPUの基本技法。
- 本稿は2016年にBerkeleyの研究者らが発表したテクニカルレポートで、GPUアーキテクチャにおけるレイテンシ隠蔽の仕組みと限界を体系的に解説。NVIDIAのGPUをベースに、ワープ（32スレッドの実行単位）やスレッドブロックの管理方法を詳述している。
- GPUプログラミングでは、単にスレッド数を増やせばレイテンシを隠せるわけではなく、メモリアクセスパターンやレジスタ使用量、スレッドあたりの演算量などが複雑に影響する。本稿はそのトレードオフを定量評価した古典的な文献で、GPU性能チューニングの基礎知識として現在も参照される。