Ask HN: MacBook vs 専用GPU——LLM実行の比較

MacBook上でLLM（大規模言語モデル）を動かしているユーザーに向けて、専用GPUとの違いや、MacBookがどの程度のモデルを実行できるかを判断する方法を尋ねる質問。ユニファイドメモリを活かしたMacBookの特性と、専用GPU搭載マシンとの性能差を比較したいという内容。

背景メモ

AppleのMacBook（特にM1/M2/M3シリーズ）とNVIDIA等の専用GPU（デスクトップ向け）で、ローカルLLM（大規模言語モデル）を動作させる際の違いを問うHacker Newsの投稿。MacBookは統合メモリ（Unified Memory）を搭載し、その大容量（最高128GB・M3 Ultra等）を活かしてVRAMが限られる一般向けGPU（例：RTX 4090で24GB）よりも大きなモデルを動かせる可能性がある一方、演算性能（TOPS）では専用GPUに劣る点が論点。特にApple Silicon + llama.cpp等の推論フレームワークを使うと、MacBookは「遅いが大きなモデルを乗せられる」選択肢として知られる。背景として、一般ユーザーがクラウドAPIを使わずに自前でLLMを動かす「ローカルLLM」ブームがあり、どのハードウェア構成を選ぶかが活発に議論されている。