2000人が私のAIアシスタントをハッキングしようとした結果
Fernando Irarrázaval氏が、自身のOpenClawテストインスタンスにメールを送信させることで機密情報を漏洩できるかどうかを試すチャレンジを実施。6000回の試行（トークン代500ドル、受信メール過多によるGoogleアカウント停止を含む）を経ても、誰も秘密を漏洩できなかった。モデルはOpus 4.6で、プロンプトインジェクション対策ルールが設定されていた。この結果は、最先端モデルがプロンプトインジェクション攻撃に対して以前より耐性を持つようになったことを示しているが、著者は不可逆的な損害を引き起こす可能性のあるシステムへの本番展開は依然として推奨しないと述べている。
背景メモ
- これは、AIアシスタント（OpenClaw／Claude系モデル）に対する「プロンプトインジェクション攻撃」の耐性を試す公開チャレンジの結果報告。プロンプトインジェクションとは、攻撃者がAIへの入力を巧みに操作し、本来禁止されている動作（秘密情報の漏洩、ファイル改変、コード実行など）を引き起こす手法。
- 作成者のFernando Irarrázavalは独⽴のセキュリティ研究者。約2,000人・6,000回の試行（コスト約500ドル、Googleアカウントが一時停止になるほどの大量メール）を経ても、設定した秘密を引き出せた者はいなかった。
- 使用されたモデルはAnthropicのOpus 4.6。プロンプトに明示的な禁止ルールを記述し、かつモデル側の訓練（安全調整）が進んだことで、以前なら容易だった注入攻撃が効かなくなっている実例。
- ただし筆者のSimon Willison（PythonエコシステムとLLM応用で知られる開発者）は「今回突破されなかったから安全とは言えない」と注意を促す。実際のプロダクションでプロンプトインジェクションによる不可逆な被害が出るリスクは依然存在する。