ニューラルネットワークの平均場理論を再考する
物理学の平均場理論はニューラルネットワークの解析に広く用いられてきたが、その有効性と限界について新たな研究が再評価を促している。本稿では、従来の平均場近似がニューラルネットワークの複雑なダイナミクスをどの程度正確に捉えられるかを検証し、より精密な理論的枠組みの必要性を論じる。
背景メモ
・物理学者たちは、ニューラルネットワークの学習の仕組みを統計力学の「平均場理論」で説明しようとしてきた。平均場理論は多数の要素の相互作用を一つの平均的な場で近似するが、ニューラルネットのように相互依存が強い系ではこの近似が崩れ、計算結果が実験と合わないケースが増えている。
・本論文は、この不一致の原因を特定し、より正確な理論の枠組みを提案。これにより、機械学習のブラックボックス化した内部動作を物理学的に理解する道が開ける可能性がある。
・平均場理論は、第2次AIブーム期の1980年代からホップフィールドネットワークなどで使われてきた古典的手法。深層学習が普及した現在、その理論的限界に再び注目が集まっている。