GLM-5.2 – ローカルで実行する方法
GLM-5.2は、Zhipu AIが開発した大規模言語モデルです。本ガイドでは、Unslothを使用してモデルをローカル環境でセットアップし、効率的に実行する手順を解説します。メモリ使用量を抑えながら推論やファインチューニングを行う方法を紹介します。
背景メモ
- **Zhipu AI (智谱AI)**：中国のAIスタートアップ。GLM（General Language Model）シリーズを開発しており、ChatGPT対抗のChatGLM製品で知られる。
- **GLM-5.2**：Zhipuが2025年に公開したオープンウェイトモデル。MITライセンスのもとで商用利用・改変が可能で、ローカル実行を重視した設計。
- 128Kトークンの長いコンテキストウインドウを持ち、多くの競合オープンモデル（Llama 3など）より長い入力を処理できる。
- **Unsloth**：モデルのファインチューニングと量子化（軽量化）を高速化するオープンソースツール。Llama FactoryやAxolotlに代わる選択肢として人気。
- **量子化（4bit/8bit）**：モデルのメモリ使用量を劇的に削減する技術。GLM-5.2を一般ユーザーのGPU（RTX 3090/4090など）でも動かせるようにするために不可欠。
- **MoE（Mixture of Experts）**：推論時に一部のパラメータだけを活性化する仕組み。GLM-5.2は総パラメータ数が大きくても、実際の計算負荷は小さく抑えられる。