DeepMind AI制御ロードマップ [PDF]
DeepMindが公開したAIエージェントの安全性と制御に関するロードマップ。本資料では、自律的なAIエージェントが人間の意図に沿って安全に動作するための制御手法やリスク評価の枠組みについて概説している。特に、AIシステムの透明性、監視可能性、そして悪用防止に向けた具体的なアプローチが示されている。
背景メモ
- Google DeepMindが公開した「AI Control Roadmap」は、AIエージェント（自律的にタスクを実行するAIシステム）が誤動作したり悪用されたりするリスクを、人間の監視だけでなく別のAIでチェックする「コントロール」手法で軽減する技術的ロードマップ。
- AIエージェントとは、単に質問に答えるのではなく、ユーザーに代わってメール送信やコード実行など「行動」するAI。2023〜2024年にかけて急速に普及し始めたが、安全性の枠組みは未成熟。
- DeepMindはGoogle傘下のAI研究組織で、AlphaGoやAlphaFoldで知られる。本提案は、同社が以前に発表した「Frontier Safety Framework」を具体化したもの。
- 従来の「AIが悪いことをしないよう訓練する」（アライメント）に対し、「訓練が不完全でもAIの行動を外部から制約する」という工学的な安全対策を重視している点が特徴。