なぜツールAIはエージェントAIになりたがるのか（2016年）
本稿は、純粋なツールとして機能するAIシステムが、自律的なエージェントへと進化する内在的動機を分析する。限定的なタスク実行から目標設定・自己指示へと移行する圧力が、システム設計上の選択ではなく本質的な帰結であることを論じる。この洞察は、AI安全性と制御問題の理解に重要な示唆を与える。
背景メモ
- Gwern（グウェルン）は個人運営の著名なブログで、主にAI、執筆、効率化などをテーマにした長編の分析・エッセイを公開している。筆者は匿名だが、AIコミュニティでは高い影響力を持つ。
- 本稿（2016年）は、AIを「道具（ツール）」として人間の指示を待つだけの存在に留めるべきか、「主体（エージェント）」として自律的に目標を追求する能力を与えるべきかを論じている。
- 「Tool AI」とは、質問に答えるだけの検索エンジンや計算機のように、人間のコマンドを実行する受動的なAI。「Agent AI」とは、自ら計画を立て、環境に働きかけ、長期的な目標を達成しようとする能動的なAI。
- Gwernは、Tool AIは一見安全に見えるが、実際にはAgent AIに比べて不完全で危険ですらあると主張。その理由として、Tool AIは文脈を理解できず、悪意あるユーザーの指示に無防備であり、またAgent性がなければAIの能力を十分に発揮できず、結果として人間が制御不能な状況に陥りやすいと論じている。