Khazad – Redis Vector Setsを介したLLM APIコールのための透過的意味キャッシュ
Khazadは、Redis Vector Setsを活用してLLM（大規模言語モデル）APIコールに対して透過的な意味キャッシュを提供するツールです。これにより、類似したクエリの重複実行を避け、応答時間の短縮とAPIコストの削減を実現します。
背景メモ
Khazadは、大規模言語モデル（LLM）のAPI呼び出しにおいて、OpenAIやAnthropicなどのプロバイダに毎回同じリクエストを送るのを避け、類似したクエリの応答をRedisのベクトルセットを使ってキャッシュするオープンソースツール（Pythonライブラリ）。