Show HN: UATC – GPUのOOMを防ぐ閉ループコントローラ
UATCは、GPUのメモリ不足（OOM）を防止するための閉ループ制御システムです。GPUメモリ使用量をリアルタイムで監視し、閾値を超えた場合に自動的にプロセスを一時停止・再開することで、安定したGPU動作を実現します。このツールは、大規模な機械学習モデルのトレーニングや推論を行う際のメモリ管理に役立ちます。
背景メモ
- **UATC** は "Unified Automatic Throttling Controller"（統合自動スロットリング制御器）の略。GPUのOOM（メモリ不足）エラーを未然に防ぐために、プログラムがGPUメモリをどれだけ使っているかをリアルタイムで監視し、閾値を超えそうになると自動で処理を間引く（スロットリングする）仕組み。
- 大規模言語モデル（LLM）や画像生成AIの推論・学習では、GPUメモリ（VRAM）がボトルネックになりやすい。一つのジョブがVRAMを食いつぶすと、他のプロセスごとクラッシュする「OOMキラー」が発生する。UATCはこれを避けるためにクローズドループ（出力を入力にフィードバックする制御方式）で動く。
- 類似のツールとしてはNVIDIAのMPS（Multi-Process Service）制御や`gpu-operator`などがあるが、UATCはユーザー空間（ユーザーランド）で軽量に動き、特別なドライバやカーネルモジュールを必要としない点が特徴。
- 公開リポジトリはGitHub上にあり、C++で書かれている。制御理論のPID（比例-積分-微分）制御を応用してGPUメモリ使用量を一定に保つ設計。