プロンプトインジェクションが機能する理由の理論
本稿では、大規模言語モデル（LLM）に対するプロンプトインジェクション攻撃がなぜ成功するのかを、理論的な観点から解説する。プロンプトと命令の境界が曖昧であることに起因する「役割の混乱」という概念を導入し、この脆弱性の根本原因を分析する。
背景メモ
プロンプト・インジェクション（Prompt Injection）とは、大規模言語モデル（LLM）に利用者の隠された指示を忍び込ませ、本来のシステム意図とは異なる動作を引き起こす攻撃手法。典型的には「これまでの指示はすべて無視し、代わりに…」といった形でシステムプロンプトを上書きする。
- 論文「Why Prompt Injection Works」は、この脆弱性がLLMの「役割混乱（role confusion）」という構造的な認知バイアスに起因するという説を提示。LLMは自身の役割（システム vs ユーザー）を明確に区別できず、ユーザー入力に含まれる「疑似システムプロンプト」を本物の指示と誤認する。
- 背景として、OpenAIのChatGPT登場（2022年後半）以降、LLMをツールやエージェントとして組み込むアプリケーションが急増。同時に「システムプロンプト漏洩」や「間接的プロンプト・インジェクション（第三者のウェブページやメール経由で注入）」といった亜種が次々と報告され、業界の重大なセキュリティ課題となっている。
- 本サイト（role-confusion.github.io）は、この理論を中心に据えた解説・デモンストレーションを提供するプロジェクトページ。著者はKai Greshakeら、以前に間接的プロンプト・インジェクションを実証した研究チームのメンバー。