Position: Stop Anthropomorphizing Intermediate Tokens as Reasoning/Thinking Traces
This position paper argues that the AI research community should stop treating intermediate tokens generated by large language models as human-like "reasoning" or "thinking" traces. The authors contend that such anthropomorphism leads to misleading interpretations of model behavior and hinders scientific progress. Instead, they advocate for a more mechanistic understanding of these tokens as computational artifacts.
背景メモ
- 大規模言語モデル（LLM）は「思考過程」として、最終回答の前に「chain-of-thought（CoT）」と呼ばれる中間トークン列を生成することがある。近年o1（OpenAI）やDeepSeek-R1など、推論過程を明示的に出力するモデルが注目を集めている。
- 本論文は、これら中間トークンを「人間の内省的思考」や「意識的な推論」として擬人化（anthropomorphize）する風潮に強く警鐘を鳴らす立場（Position）論文。著者らは、CoTトークンは単なる次のトークン予測の副産物に過ぎず、人間の思考プロセスと安易に同一視すべきではないと論じている。
- 議論の背景には、LLMの「推論能力」を巡る激しい対立がある。CoTが真の論理的推論を反映するのか、それとも単に訓練データのパターンを模倣しているだけなのかという根本的な問いが存在する。
- 本論文の意義は、技術的成果を過度に人間化する解釈が、モデルの評価方法や安全性研究、さらにはAIの認知能力に対する社会的な期待を歪めるリスクを指摘した点にある。