Khazad – 基于 Redis 向量集合的 LLM API 调用透明语义缓存

Khazad 是一个为大型语言模型（LLM）API 调用设计的透明语义缓存工具，基于 Redis 向量集合实现。它能够自动识别语义相似的查询，避免重复调用 API，从而降低延迟和成本。该项目提供简洁的集成方式，适用于需要频繁调用 LLM 的场景。

背景速读

- Khazad 是一个开源工具，通过在 Redis 中缓存语义相似的 LLM API 请求结果来降低调用成本。传统缓存要求输入完全一致，而 Khazad 利用向量相似度判断“意思相近”的请求，即使表述不同也能命中缓存。 - 核心组件包括：提取文本嵌入（embedding）的模型、用于存储和检索的 Redis 向量集合（Vector Set），以及一套自动管理缓存过期与更新的机制。 - 对依赖 GPT、Claude 等大语言模型 API 的开发者而言，重复请求产生的费用是常见痛点。Khazad 旨在透明地嵌入现有工作流，让开发者无需修改代码即可自动享受缓存加速与成本节省。 - 该项目由 Guglielmo Cerri 开发，背后的关键在于平衡缓存命中率与返回结果的语义准确性——过于宽松的相似度阈值可能导致用户收到“意思相近但并非所需”的响应。