Testing 67 Models: Combining LLMs Rarely Beats the Best Single Model
A study tested 67 large language models and found that combining multiple models (ensembling) rarely outperforms the single best model. The results suggest that instead of complex orchestration, simply allocating tasks to the best individual model yields better performance. This challenges the common assumption that model collaboration always leads to superior outcomes.
背景メモ
Hugging Face上で公開された「Orchestration is Allocation」という実験プロジェクト。67種類の大規模言語モデル（LLM）を組み合わせて使う「オーケストレーション」（複数モデルを連携させる手法）が、単一の最良モデルを上回るかどうかを検証した結果、「たいていの場合、上回らない」という結論に至った。
- **LLMオーケストレーション**とは、複数のAIモデルをルーターや評価モデルで切り替えながら使い分ける技術。企業向けAI製品（例：LangChain、Anthropicのツール使用）でよく提案される。
- 実験は、単体の上位モデル（例：GPT-4、Claude 3.5 Sonnetなど）と、それらを組み合わせたシステムを、コーディングや数学、指示追従など様々なタスクで比較。
- 結果は「組み合わせシステム」が最良単体モデルを安定して超えることはなく、むしろコスト増・遅延増・複雑性悪化に見合わない傾向を示唆。
- この話題は、*compound AI systems*（複合AIシステム）対*megamodel*（巨大単一モデル）という、2024年のAI業界で活発な議論の文脈にある。企業は「多数の小モデルを連携させる方が効率的」と主張する一方、この実験は「結局は最大級の単一モデルに勝てない」と反論するデータを提供している。