在价值990欧元的二手硬件上全速运行26B和35B参数大语言模型——无需云服务
本文介绍了如何仅用990欧元购买二手硬件（如多块旧GPU组装的工作站），即可本地全速运行26B和35B参数规模的大语言模型，无需依赖昂贵的云服务。作者分享了硬件选型、配置技巧和实际性能数据，证明高参数模型在预算有限的本地设备上也能高效部署。
背景速读
- 这篇技术博客讲的是如何用不到1000欧元购买二手硬件（通常是已淘汰的服务器和工作站），本地运行参数量高达260亿（26B）和350亿（35B）的大型语言模型（LLM），完全不依赖云计算服务。
- 关键人物/项目：文章作者属于本地AI（LocalAI）和开源LLM社区，该社区致力于让大模型摆脱对OpenAI、Google等商业云API的依赖。核心工具包括llama.cpp（让大模型在消费级硬件上运行的推理引擎）和量化技术（降低模型精度以节省内存，如GGUF格式）。
- 为什么重要：大模型通常被认为需要昂贵的服务器GPU（如NVIDIA A100/H100，单卡数万美元）。这篇文章证明，通过捡垃圾级（used/enterprise surplus）硬件加开源软件优化，个人开发者或小团队能以极低成本获得接近云端的推理速度，这是AI民主化和边缘计算的重要实践。
- 背景：近年来，llama.cpp等项目的出现让大模型从“只有大公司玩得起”变为“一台旧电脑也能跑”。类似“LocalAI”、“Ollama”等项目持续降低门槛，而二手市场（如欧洲的eBay Kleinanzeigen）上的服务器硬件（如多路Xeon、大容量DDR4内存）为这种尝试提供了物质基础。