分词是你未曾衡量的瓶颈

本文探讨了分词（tokenization）在语言模型推理中常被忽视的性能瓶颈问题。作者指出，当前许多优化工作聚焦于模型架构和算力效率，但分词阶段的延迟和开销却很少被系统性地测量和优化。通过实验数据，文章揭示了分词器设计对整体推理速度的实际影响，并呼吁开发者将分词环节纳入性能分析的关键维度。