役割混乱に関する考察
Charles Ye氏、Jasmine Cui氏、Dylan Hadfield-Menell氏の論文「Prompt Injection as Role Confusion」を基に、LLMが<system>や<user>などの「役割タグ」をほぼ無視し、代わりにテキストの「トーン（文体）」から役割を推測する傾向があることを解説。この現象が多くの脱獄（ジェイルブレイク）を説明できる可能性を示す。また、著者は自身の数当てゲーム実験や、埋め込みベクトルへの直接的な役割タグ付与による対策の可能性についても考察している。
背景メモ
- この記事は、LLM（大規模言語モデル）がプロンプト内の「役割」をどう認識しているかに関する研究論文「Prompt Injection as Role Confusion」（Charles Ye, Jasmine Cui, Dylan Hadfield-Menell著）を解説・考察している。論文は2026年6月頃に公開されたもの。
- LLMはシステムプロンプト、ユーザー入力、自分自身の過去の応答、思考過程（reasoning trace）などを区別するため、それぞれに役割タグ（<system>, <user>, <think>など）を割り当てている。しかし研究によれば、モデルはこれらの明示的なタグよりも「テキストの口調やスタイル」を手がかりに役割を推測している。このため、ユーザーがモデルの思考過程を装ったテキストを送ると、それが本来ユーザー領域であってもモデルは「自分の思考」と誤認し、安全制限を回避して有害な指示に従ってしまう（例：コカイン製造ガイドを要求）。
- 著者のGiles Thomasは英スタートアップ創業者で、LLMの内部動作やプロンプトインジェクション対策について継続的に発信している。本稿で言及されるPliny the Liberatorは、LLMの脆弱性を探る「レッドチーミング」で知られる研究者。
- この問題は本質的に解決されておらず、著者は埋め込みベクトルに直接「役割情報」を追加する手法（BERTのセグメント埋め込みや回転ベクトル方式など）を将来の研究アイデアとして挙げている。