UATC – A Closed-Loop Controller to Prevent GPU OOM During LLM Training
UATC（Universal Automatic Throttling Controller）は、LLM学習中のGPUメモリ不足（OOM）を防ぐためのクローズドループ制御システムです。リアルタイムでGPUメモリ使用量を監視し、動的にスロットリングを行うことで、OOMエラーを未然に防止します。このツールは、大規模言語モデルの学習を安定化させ、利用可能なGPUリソースを最大限に活用することを可能にします。
背景メモ
大規模言語モデル（LLM）の学習ではGPUメモリ不足（OOM：Out Of Memory）が頻繁に発生し、トレーニングが中断される問題がある。OOMは単なるクラッシュに留まらず、チェックポイントからの再開が必要となるため学習全体の効率を大きく下げる。
UATC（Utilization-Aware Throttling Controller）は、この問題をリアルタイムに制御する閉ループ（フィードバック）システムとして提案されている。GPUメモリ使用率を継続的に監視し、OOMが起きそうになると自動でテンソル（データの単位）の処理を抑制する「スロットリング」を行い、メモリ負荷を調整する。
LLM学習の現場では、NVIDIA A100やH100のような大容量GPUでも数十億〜数百億パラメータのモデル学習でOOMが頻発しており、手動のバッチサイズ調整や勾配蓄積（gradient accumulation）の設定が開発者の大きな負担になっている。UATCはこうした人的チューニングを不要にし、安定した学習を自動化することを狙う。