GLM-5.2を500tpsで5倍高速に実行、ただし制限あり
本記事では、GLM-5.2モデルを通常の5倍となる500トークン/秒で実行するベンチマーク結果を報告。Tilert 8xb200構成で高いスループットを達成した一方、精度やスケーラビリティに一定の制約がある点についても詳述している。
背景メモ
- GLM-5.2は、中国のハイテク企業・智譜AI（Zhipu AI）が開発した大規模言語モデル（LLM）。同社は清华大発のスタートアップで、中国政府系ファンドの支援を受けており、米国の対中半導体輸出規制下でも競争力のあるモデルを生み出している。
- 本文は、個人のエンジニア（Abhishek）が、Apple Silicon搭載MacBook（M3 Max、128GBメモリ）と「Tilert 8x200」というツールを用いて、このモデルを高速推論させる試みを報告したもの。
- 「Tilert 8x200」は、LLMの量子化（モデルを軽量化して高速化する技術）と推論を最適化するための実験的フレームワーク。一般に広く使われているllama.cppとは異なるアプローチを取る。
- 500tps（トークン/秒）という数値は、通常の個人用ハードウェアでのLLM実行速度としては極めて高い。ただしモデルの一部の機能（会話の文脈保持など）に制限がある状態での達成である点が本記事のポイント。
- このベンチマークが注目される背景には、「大規模AIモデルを高価なデータセンターGPUなしでどこまで実用的に動かせるか」というコミュニティの関心がある。