Show HN: Quicktok，一个比 tiktoken 快 7 倍的精确 BPE 分词器
Quicktok 是一款精确的 BPE 分词器，性能比 OpenAI 的 tiktoken 快 7 倍。它采用优化的算法实现，在保持与 tiktoken 完全兼容的前提下大幅提升了分词速度，适用于需要高效文本处理的 NLP 场景。
背景速读
- BPE（字节对编码）是大语言模型（如 GPT 系列）中常用的分词方法，tiktoken 是 OpenAI 官方发布的 Python/Rust 分词库，被广泛使用但速度并非最优。
- Quicktok 是一个新开源项目，宣称在保证分词结果完全一致（"exact"）的前提下，速度比 tiktoken 快约 7 倍，这意味著在处理大量文本时可显著降低计算成本。
- 该项目由个人开发者 dmatth1 在 Hacker News 上以 "Show HN" 形式发布，属于社区驱动的开源工具，并非大型公司产品。
- 分词是 LLM 推理和训练管线中的基础步骤，速度提升对生产环境的延迟和吞吐量有直接影响，因此这类优化在 AI 工程社区中备受关注。