Show HN: 一个155K参数的变压器构建了它从未见过的世界地图
该项目展示了一个仅有155,000个参数的微型变压器模型，通过无监督学习，在从未直接接触过空间布局数据的情况下，自主构建了其内部世界地图。模型在迷宫导航任务中展现出惊人的空间推理能力，揭示了小巧架构也能涌现出复杂的内部表征，为理解神经网络的空间认知机制提供了新的视角。
背景速读
- 这个项目展示了一个极小的神经网络（仅15.5万个参数），它在训练时从未见过任何地图，却能自行学会构建一个网格世界的内部表征（心理地图）。参数越少，模型越简单，通常只能做模式匹配；能做到“无中生有”地抽象出空间结构，在AI研究中相当罕见。
- 它属于“机械可解释性”（mechanistic interpretability）领域——即不把神经网络当黑箱，而是像拆钟表一样分析其内部权重的功能。这类工作有助于理解大模型为何“懂”空间、逻辑甚至语言。
- 作者在Hacker News上发布（Show HN），说明这是一个个人开源项目，读者可自行在浏览器中运行和调试这个模型，直观观察神经元如何“画地图”。
- 技术背景：Transformer是当前ChatGPT等大模型的基础架构；参数（parameters）是模型中可调节的数值，参数越多通常能力越强，但这个小模型用极少的参数实现了令人惊讶的空间推理能力。