67のフロンティアモデルにおけるMixture-of-Agentsの共故障上限
本論文は、複数の大規模言語モデル（LLM）を組み合わせるMixture-of-Agents（MoA）手法において、個々のモデルが同一のタスクで同時に誤る「共故障」現象が性能上限を制約することを明らかにした。67のフロンティアモデルを対象に分析し、モデル間の多様性が低いほど共故障が増加し、MoAの利得が減少することを実証。結果は、効果的なMoA設計には多様性の高いモデル選択が重要であることを示唆する。
背景メモ
複数の大規模言語モデル（LLM）を組み合わせた「Mixture-of-Agents（MoA）」方式の限界を、67の最新モデルを使って体系的に検証した論文。具体的には、専門家モデルがそれぞれ回答を生成し、それらを集約する「プロポーザルモデル」が最終出力をまとめるアーキテクチャを取る。実験の結果、MoAの性能上限は構成モデルの中で最も弱いモデル（co-failure ceiling）によって決まることを発見。つまり、どんなに優秀なモデルを組み合わせても、1つでも性能の低いモデルが混ざると上限が引き下げられる。研究では、単一の最強モデル（GPT-4oなど）がMoA構成を上回るケースも確認され、モデル統合における「弱いリンク」問題を浮き彫りにした。著者らはHugging Face上でコードと結果を公開し、再現性を担保している。