Verbalizable Representations Form a Global Workspace in Language Models
This paper investigates how language models internally represent and process information that can be verbally expressed. The authors find that these "verbalizable representations" form a global workspace, where information is integrated and made accessible across different processing modules, similar to theories of consciousness in cognitive science.
背景メモ
- 本稿はAnthropicの機構解釈（メカニスティック・インタープリタビリティ）チームによる研究発表。同社はClaudeシリーズの開発元で、AIの内部動作を理解する「透明性」研究を積極的に進めている。
- 「言語モデル内部に『意識的な思考』に相当するような、情報を統合・共有するグローバル・ワークスペースが存在する」という理論を検証。大脳皮質の「グローバル・ワークスペース理論」に着想を得ている。
- 具体的には、モデルが「言葉で説明できる（verbalizable）」情報を特定の内部表現に集約し、それが他のモジュールから読み書き可能な「共有メモリ」として機能することを示唆。
- この成果は、モデルが単なるパターン検索ではなく、内部で情報を集約・統合する機能を持つことの証拠となり、AIの思考プロセスの解明に一石を投じる。