Guidance injection: reliable instructions for local LLMs

Guidance injection is a technique for reliably embedding instructions into local large language models. It addresses the challenge of ensuring LLMs follow specific guidelines consistently. The post explores methods for implementing this approach to improve model reliability and control.

背景メモ

- LLMに対する「プロンプトインジェクション」攻撃とは、ユーザー入力に悪意ある指示を埋め込んで、モデルに与えられた本来のシステム指示（例：「安全に振る舞え」「特定の役割を演じよ」）を上書き・無視させる手法。2022年頃から問題視され、特にWeb検索結果やメール内容をLLMが読み込むRAG構成で深刻化している。 - ローカルLLM（ユーザーが自分のPCで動かすモデル）はクラウドAPI経由の商用LLMに比べ、システムプロンプトの強制力が弱い傾向があり、ガードレールを突破されやすい。本記事はその脆弱性を逆手に取り、あえて「システム指示を上書きする」攻撃的プロンプトを信頼できる指示伝達手段として活用する逆転の発想を提案している。 - 著者のSami Honkonenは、ローカルLLMの制御機構を研究するフィンランドの独立系開発者。自身のブログでローカルLLMの実用的な制御手法を公開している。