Skip to content
TopicTracker
来自 HackerNews查看原文
译文语言译文语言

Ask HN: 为什么LLM框架不启用或暴露自定义中间件钩子?

用户提问:为什么现有的LLM工具链(harnesses)不提供自定义中间件钩子?用户希望能够直接从结构化数据(如JSON)生成提示词(prompt),并在提示词生成时自动进行翻译和Markdown装饰,而不需要为此自己搭建一整套基础设施。

背景速读

这个帖子来自 Hacker News(技术社区),用户讨论的是主流的大语言模型(LLM)调用框架(如 LangChain、LlamaIndex)缺少一个关键功能:自定义中间件钩子。用户想直接在这些框架里插入自己的处理步骤——比如将一个 JSON 数据结构转换成带 Markdown 格式的提示词——而不需要自己从头搭建一套完整的基础设施。问题的核心是:现有框架把"请求前处理"和"响应后处理"的接口做死了,导致开发者无法灵活地在"输入提示词之前"或"拿到模型输出之后"插入自定义逻辑。这反映出 LLM 应用开发中的一个普遍痛点——框架在抽象化和灵活性的平衡上还不够成熟。

相关报道