零权重语言模型 (MSE-GLM)

- MSE-GLM 是一种新型语言模型架构，其核心创新在于：在训练完成后，将模型中大量（甚至全部）权重归零（"Zero Weights"），但依然能保持较高性能。这与传统观点——神经网络依赖精确的权重值来存储知识——形成直接对立。 - 该项目由独立研究者 "City"（网名，来自中国/海外技术社区）提出并开源。作者并不隶属于任何大型科技公司或知名AI实验室。 - 这项工作的意义在于：它挑战了我们对神经网络"压缩"和"记忆"机制的根本理解。如果权重可以被清零而模型不崩溃，意味着信息存储方式可能与当前主流理论（如线性子空间假设、 superposition 理论）不同，可能为超低资源部署和更高效的压缩方案开辟新路径。 - 背景：当前主流 LLM（如 GPT、Llama）依赖数十亿到数千亿参数来存储知识，模型越大、权重量化越精细，效果越好。MSE-GLM 试图证明存在一种可替代的、冗余度极高的表示方式——但学界对此仍有争议，其可扩展性和通用性尚未被广泛验证。