過剰パラメータ化の謎めいた成功：当たりくじチケットか逃避次元か？
本稿では、過剰パラメータ化されたニューラルネットワークが優れた性能を発揮する理由について、「当たりくじチケット仮説」（Lottery Ticket Hypothesis）と「逃避次元」（Escape Dimensions）という2つの主要な理論的枠組みを比較・検討する。これらの概念を統合的に分析することで、過剰パラメータ化が学習と汎化に与える影響の本質に迫る。
背景メモ
- 深層学習では、本来必要以上にパラメータ数が多い「過剰パラメータ化」がむしろ学習を成功させるという逆説的な現象が知られているが、その理由は完全には解明されていなかった。
- 本論文は、スイス連邦工科大学ローザンヌ校（EPFL）の研究者らによる理論的・実験的考察で、この現象を説明する二つの有力説——「ロッタリーチケット仮説」（初期化時にたまたま良い部分ネットワークが存在する）と「逃避次元説」（高次元空間では鞍点から容易に抜け出せる）——を比較・検証している。
- 「ロッタリーチケット」仮説は2018年にMITのFrankle & Carbinが提唱した概念で、巨大ネットワークの中に宝くじのように当たりの小さなサブネットワークが隠れているというアイデア。
- この研究の意義は、過剰パラメータ化の「なぜ」を巡る議論に理論的裏付けを与え、より効率的なニューラルネットワーク設計への示唆を提供する点にある。