Would Claude Refuse an Illegal Military Order?
As artificial intelligence systems become increasingly integrated into military operations, a critical question emerges: would an AI like Claude refuse to carry out an illegal order? This article explores the ethical and technical challenges of programming AI to recognize and resist unlawful commands in warfare contexts, examining Anthropic's approach to building value-aligned AI systems that can identify and reject instructions that violate international law or ethical principles.
背景メモ
- アンソロピック（Anthropic）は、OpenAIの元メンバーが設立したAI企業で、安全性重視のAI開発を掲げる。主力モデルは「Claude」（クロード）。
- 本記事は、アンソロピックが米国防総省との契約において、自社のAIモデル「Claude」に殺傷能力のある兵器システムへの直接統合を禁じる利用ポリシーを堅持しながらも、軍事支援目的での利用（例：兵站計画や情報分析）は容認している現状を報じている。
- 背景として、AI企業と米軍との関係が活発化している。OpenAIやGoogle、Metaも国防総省との契約を拡大しており、シリコンバレーと軍需産業の接近に倫理的懸念が高まっている。
- 焦点は「もしClaudeが戦争犯罪に相当する違法な命令（例：無差別攻撃の指示）を受けたら、どう応答するのか」という未解決の問題。AIの「拒否権」は訓練された価値観に依存するため、軍事運用に組み込まれた場合の実際の行動は未知数。