VRAM ゴーストバスティング:閉じるのは誰だ?
GPUのVRAM(ビデオメモリ)をゴーストのように占有し、明示的に解放されるまでメモリを占有し続ける未使用テンソル(「ゴーストテンソル」)の問題と、それを特定して閉じる(close())方法について解説。Pythonのコンテキストマネージャの活用や参照管理のベストプラクティスを通じて、VRAMリークを防止する実践的テクニックを紹介する。
背景メモ
H Company(旧Hyperbolic)が開発した、VRAM不足を解消するためのオープンソースのPythonライブラリ「close()」を紹介する記事。大規模AIモデルをローカルで動かそうとするとGPUメモリ(VRAM)がすぐに枯渇するが、同ライブラリは不要になったテンソルやキャッシュを自動検出・解放し、VRAM使用量を削減する。GPU上で直接メモリアロケーションを管理するCUDAの仕組みと連携し、PyTorch標準の機能より積極的にメモリを開放する点が特徴。LLMや画像生成モデルを扱う開発者向けで、GPLライセンスで公開されている。