如何让 GLM 5.2 达到每秒 280 token 的处理速度
本文介绍了 Baseten 团队如何通过优化推理管线、使用 TensorRT-LLM 和自定义 CUDA 内核，将 GLM 5.2 模型的推理速度提升至每秒 280 token，从而打造出全球最快的 GLM 5.2 API。文章详细阐述了架构设计、内存优化和批量处理策略，为高性能大模型部署提供了实用参考。
背景速读
- GLM 5.2 是智谱AI（Zhipu AI）于2025年发布的开源双语大语言模型，性能在多项基准上对标GPT-4和Llama-4。与大多数西方主流模型不同，GLM系列对中文有深度优化，且采用MIT许可协议，允许自由商用和修改。
- Baseten是一家总部位于旧金山的AI基础设施初创公司。它不训练模型，而是提供专为LLM推理优化的高性能GPU集群和部署引擎，相当于“AI模型的AWS”。客户按需付费使用其托管的推理服务。
- 这篇文章详解了Baseten团队如何将GLM 5.2的推理速度优化到280 tokens/s——这比标准部署快数倍。核心手段包括：使用定制版SGLang推理框架、CUDA图编译、FP8量化、分块预填充和批处理调度。
- 之所以重要，是因为推理速度直接决定可用性和成本。速度越快，意味着用户等待时间更短，或者同样硬件能服务更多用户。Baseten的开源方案（已贡献回社区）为其他公司运行自有LLM提供了低成本路径。