“超权重”：单个参数如何决定大语言模型的行为（2025）
苹果机器学习团队的研究发现，在大语言模型中，存在一种被称为“超权重”的单个参数，其数值变化能够显著影响模型的行为和输出结果。这一发现挑战了传统认知，表明并非所有参数都同等重要，个别参数可能拥有远超预期的控制力，为模型压缩和可解释性研究提供了新思路。
背景速读
Apple 机器学习团队 2025 年发表的一篇研究发现，大型语言模型中的某个单参数（权重）对模型行为有不成比例的巨大影响，团队将其称为"超级权重"。核心发现如下：
- 团队对一系列开源 LLM（包括 Llama、OpenELM 等）进行分析，发现每个模型中存在少量参数，其数值大小远高于其他参数；删除或修改这些"超级权重"会显著改变模型输出，而同等干预普通参数几乎无影响。
- 更令人意外的是：这些超级权重大多位于模型的第一层（嵌入层），且修改单一超级权重就能使模型回答突然切换语言（如从英文跳转至中文、韩文等），或将模型输出锁定为某种固定模式。
- 研究推测，这些超级权重可能充当了模型内部的"语言锚点"或"默认模式开关"，是模型在训练过程中偶然形成的，并非有意设计。
- 这一发现对模型压缩、剪枝和可解释性研究有直接意义：若少量参数决定了模型的核心行为，传统均匀剪枝策略可能意外破坏模型能力，同时也为理解 LLM 内部机制提供了新切入点。