Anthropic Cyber Jailbreak Disclosure Program
Anthropic社は、同社のAIシステムに対する「脱獄」やセキュリティ上の脆弱性を報告するためのバグ報奨金プログラム「Cyber Jailbreak Disclosure Program」を公開しています。セキュリティ研究者は脆弱性を発見した場合、報奨金を受け取ることが可能です。
背景メモ
- AnthropicはAI安全性研究で知られる企業で、Claudeという大規模言語モデル（LLM）を開発している。
- 「Cyber Jailbreak」とは、AIモデルの安全ガードレールを突破して、本来禁止されている出力（有害な指示、違法行為の助言など）を引き出そうとする試みのこと。
- このプログラムは、いわゆる「バグ報奨金制度」の一種。外部のセキュリティ研究者（ホワイトハッカー）がAnthropicのAIシステムに対する脱獄（jailbreak）手法を発見し、報告すると報酬が支払われる。
- 従来の脆弱性報奨金はソフトウェアのバグが対象だが、こちらはAI特有の「プロンプトインジェクション」や「脱獄」といった、モデルの振る舞いを操作する攻撃に特化している。
- HackerOneはバグ報奨金プログラムを運営するプラットフォーム。Anthropicは同プラットフォーム上でこのプログラムをホストしている。
- この取り組みの意義は、AIモデルが実際にどう攻撃されるかを実証的に調べ、防御を強化する点にある。AI安全性が政策やアカデミアで議論される中、実際の攻撃手法に対する理解を深める実務的な試みとして注目されている。