64GB MacでGLM-5.2をギリギリ動かしてみた
この記事では、64GBメモリのMac上で大規模言語モデルGLM-5.2を実行した経験を詳述。メモリ制約の中での量子化技術や推論最適化の工夫、実際のパフォーマンス測定結果を共有し、コンシューマーレベルのハードウェアで最先端モデルを動作させる際の課題と可能性を探る。
背景メモ
- GLM（General Language Model）は中国のAI企業Zhipu AI（智譜AI）が開発する大規模言語モデル。Zhipu AIは清華大学発のスタートアップで、OpenAIやAnthropicに対抗する中国トップクラスのAI企業の一つ。
- GLM-5.2は同社の最新モデルで、推論（reasoning）能力に特化。パラメータ数は明示されていないが、非常に巨大で、通常はデータセンター級のGPU（H100など）で動作する。
- 本記事の筆者は、通常高性能GPUが必要なGLM-5.2を、Apple Siliconのユニファイドメモリ（64GB Mac）上で強引に動かそうと試みている。MacはGPUメモリを共有するため、大規模モデルをVRAM節約で動かす実験プラットフォームとして注目されている（例：llama.cpp, MLX）。
- この試みの意義：膨大なGPU予算がない個人開発者や研究者が、最先端推論モデルをローカルでどこまで動かせるか——というAI民主化／セルフホスティング文脈の実証実験。同時に、「中国製最強モデルがMacでも動く」というデモンストレーションでもある。