Automatic Prefix Caching – vLLM
vLLMのAutomatic Prefix Caching（自動プレフィックスキャッシング）は、KVキャッシュ内の共通する先頭トークン列を検出し再利用する機能です。これにより、同一または類似のプロンプトが繰り返し処理される際の計算コストを削減し、推論のレイテンシを大幅に向上させます。特にチャットボットやコード補完など、同じ会話履歴やシステムプロンプトが再利用されるシナリオで効果を発揮します。
背景メモ
- vLLMは大規模言語モデル（LLM）推論のための高性能オープンソースライブラリ。UCバークレー発で業界標準になりつつある。
- Automatic Prefix Caching（APC）は、プロンプト（入力文）の共通する先頭部分（プレフィックス）の計算結果をキャッシュし、同じプレフィックスを持つ別リクエストで再利用する機能。
- 例：チャットボットへの大量リクエストで「あなたは親切なアシスタントです」のようなシステムプロンプトが毎回同じなら、その部分のKVキャッシュ（Transformerの注意機構の中間計算結果）をスキップできる。
- これにより初回応答時間（TTFT）が大幅に短縮され、GPUメモリ消費も削減される。特にマルチターンチャットやCode補完、RAG構成など、同じ文脈を共有する大量クエリを処理するユースケースで顕著な効果を発揮する。