LLMの組み合わせは最良の単一モデルにほとんど勝てない、67のフロンティアモデルをテスト
67のフロンティアモデルをテストした結果、複数のLLMを組み合わせても最良の単一モデルの性能を上回ることは稀であることが明らかになった。モデルアンサンブルやマルチエージェントシステムなどの手法は計算コストの増加に見合うだけの改善をもたらさず、単一モデルの選択と最適化の重要性を強調している。
背景メモ
- 著者は、67種類のフロンティアLLM（Claude、GPT-4o、Gemini、Llama、DeepSeekなど）を組み合わせて使う「モデルアンサンブル」が、単一の最良モデルの性能を本当に超えるのかを体系的に検証した。
- 結論：「複数モデルを組み合わせても、最高の単一モデルにはほぼ勝てない」。多数決やスコアリングで統合しても、最強モデル1つを使う方が安定して高い精度を達成した。
- この研究が重要なのは、企業や開発者が「複数LLMを並列運用すればコストをかけた価値が出る」と思い込みがちな現実に対し、そうではないとデータで示した点。LLM選定では「アンサンブルよりベスト単体を選ぶ戦略」が合理的である可能性を示唆。
- 背景として、2024〜2025年にかけてAnthropic・OpenAI・Google・Meta・DeepSeekなどが競って高性能モデルをリリースし、「どのモデルを選ぶか」だけでなく「複数組み合わせるべきか」が実務上の関心事になっていた。