Show HN：自托管现代大语言模型（LLM）技术栈
该项目展示了如何自托管一套完整的大语言模型技术栈，涵盖从模型部署到推理服务的各个环节。通过开源工具链，用户可以在自有服务器上运行和定制LLM，从而更好地控制数据隐私与模型行为，减少对第三方API的依赖。
背景速读
- llmaker 是一个开源项目，让用户在自己的硬件上托管一整套现代大语言模型（LLM）服务栈，包括推理、嵌入和向量数据库等组件，完全本地运行。
- 它整合了 Ollama（模型运行器）、Open WebUI（类 ChatGPT 界面）、Qdrant（向量数据库）等成熟项目，通过 Docker Compose 一键部署，类似本地版的 OpenAI API。
- 作者 raiyanyahya 在 GitHub 上发布该项目，定位为面向开发者和自托管爱好者的实用工具，而非商业产品。
- 该项目背景是：越来越多用户因数据隐私、成本控制或离线需求，希望跳过 OpenAI、Anthropic 等云服务，自行搭建 LLM 基础设施。llmaker 降低了这一门槛。