Show HN: 155KパラメータのTransformerが、見たことのない世界の地図を構築する
わずか155Kパラメータという超軽量Transformerモデルが、学習データに含まれていない未知の世界の内部表現（地図）を自律的に構築する現象を紹介。モデルの極小サイズにもかかわらず、空間的な構造を学習し、未踏の環境を推論できることを示す。
背景メモ
- 本記事の著者は、わずか155K（15万5千）パラメータの極小トランスフォーマーモデルを訓練し、モデルに一度も見せていない「世界」の内部表現（マップ）を獲得できることを示した実験を紹介している。パラメータ数が極めて小さいため、従来の大規模言語モデル（LLM）のように「ブラックボックス」ではなく、内部構造を完全に可視化・解釈可能な点が特徴。
- 「世界」とは、迷路のようなグリッド上をエージェントが動く単純な環境。モデルはエージェントの位置情報（トークン列）のみを入力として受け取り、次に移動する方向を予測するよう訓練される。
- 重要なのは、訓練時にはエージェントの絶対座標や地図情報は一切与えられていないこと。にもかかわらず、訓練後のモデルの内部（中間層のアクティベーション）を解析すると、グリッド世界の座標に対応する「認知地図」が自己組織化的に形成されていることが判明する。
- この研究は、機械学習における「世界モデル」や「内部表現」の理解に寄与する。特に、大規模モデルがなぜ空間的推論や計画能力を持つように見えるのか、そのミニマルな原理を探る基礎研究として位置づけられる。