中古ハードウェア990ユーロで26B・35B LLMをフルスピード実行 – クラウド不要
クラウドに頼らず、たった990ユーロの中古ハードウェアで26Bパラメータや35Bパラメータの大規模言語モデル（LLM）をフルスピードで実行する方法を紹介。高価なGPUクラスタを不要とするコスト効率の高いセットアップとそのパフォーマンスを検証する。
背景メモ
- この記事は、中古のサーバー向けGPU「Tesla P40」（24GB VRAM）を2枚（計約€990）使って、26B（260億）パラメータ級の大規模言語モデル（LLM）をローカルでフルスピード稼働させる手法を紹介している。
- Tesla P40は2016年リリースのデータセンター向けGPUで、最新のコンシューマー用GPU（例：RTX 4090）より遥かに安価だが、市販のデスクトップPCではファン冷却や電源供給に工夫が必要なため、一般的な自作PC用途にはハードルがある。
- 26B〜35BパラメータのLLMは「Llama 2 70B」など超大型モデルほどリソースを要求しないが、一般向けの7B〜13Bモデルより高性能で、ローカル実行にはVRAMが大きな壁となる。この記事は、コスト重視でローカルLLM環境を構築したい技術者層に向けて、P40の中古活用という具体的なレシピを提供している。
- 背景として、2023〜2024年にかけてMetaのLlamaシリーズをはじめとするオープンウェイトLLMが急増し、個人が自前のマシンでLLMを動かすニーズが高まった。クラウドAPI依存への懸念（コスト、プライバシー、レイテンシ）から「ローカルLLM」ムーブメントが起きている。