过度参数化的迷之成功：彩票假说还是逃逸维度？
本文探讨了深度学习中过度参数化现象的两个主要解释框架：彩票假说（Lottery Ticket Hypothesis）认为大型模型中存在性能优异的子网络，而逃逸维度（Escape Dimensions）理论则从高维优化景观的角度解释其成功。研究通过理论分析与实验对比，揭示了这两种机制在不同模型尺度下的相互作用，为理解神经网络过度参数化的本质提供了新视角。
背景速读
- 该论文由洛桑联邦理工学院（EPFL）的研究者发表，探讨深度学习领域一个核心谜题：为什么参数远超数据量的“过参数化”神经网络反而比精心设计的小模型表现更好？
- 论文对比了两种主流解释：“彩票假说”（Lottery Ticket Hypothesis，认为大网络中藏有“中奖”子网络）和“逃逸维度”（Escape Dimensions，认为高维空间让优化更容易找到好解）。
- 彩票假说由MIT团队在2018年提出，是近年的热门研究方向；逃逸维度则更多从数学优化角度解释。这篇文章试图用实验判断哪种理论更站得住脚。
- 对非技术读者来说，这篇论文的意义在于：它挑战了近年流行的“彩票假说”叙事，可能改变我们对“为什么大模型有效”的理解，进而影响未来模型设计的理念——不是越大越好，而是大帮助了“寻找好解”的过程。