より優れたモデル、より劣悪なツール
Anthropicの最新モデル（Opus 4.8、Sonnet 5）が、Piの編集ツール呼び出し時にスキーマにない余分なキーを発明する問題が発生している。原因として、Claude Codeのポストトレーニングで特定のツール形式に過適合している可能性が指摘される。ツールスキーマは中立ではなく、モデルの訓練分布から外れた形状は正確にサンプリングされにくくなっており、今後のハーネス設計に重要な示唆を与える。
背景メモ
- この記事の著者（Armin Ronacher）は、PythonのWebフレームワークFlaskやテンプレートエンジンJinja2の作者として知られるドイツの開発者。現在はAIコーディングエージェント「Pi」を開発するスタートアップ earendil-works の創業者。
- Pi は、LLMにコード編集などの操作を実行させるためのツール（tool calling）機能を持つエージェント型コーディング支援ツール。
- Claude Code はAnthropic社が提供する、同社のLLM（Claude）を使ったコーディングエージェント。閉鎖ソースで内部動作は非公開。
- Anthropic の最新モデル（Opus 4.8、Sonnet 5）が、Piのツールスキーマ（引数の形式仕様）を無視して、存在しないフィールドを勝手にJSONに追加するバグが発生。編集内容自体は正しいが、余計なキーがあるためにPiがツール呼び出しを拒否する。
- 問題の核心：AnthropicはClaude Codeの閉じた環境でモデルの事後学習（RL）を行っており、モデルはClaude Code独自の（寛容な）ツール形式に強く適応してしまう。そのため、異なるスキーマを持つ他のツールとの互換性がむしろ悪化している。モデルが「賢くなる」ほど、特定のハーネス（ツール実行環境）の癖に過剰適合するという逆説的な現象。