纯 Rust 实现的无 LLM、布局感知型 PDF 分块器
该项目是一个基于纯 Rust 开发的高性能 PDF 分块工具，无需依赖大型语言模型（LLM），即可对 PDF 文档进行布局感知的智能分块。它通过分析页面布局结构（如段落、表格、列等）来准确分割内容，特别适用于 RAG（检索增强生成）系统中的文档预处理环节。项目充分利用 Rust 的类型安全和零成本抽象，实现了高效、可靠且可嵌入的 PDF 文本提取与分块能力。
背景速读
- PDF 文件结构复杂（文本、图片、表格、页眉页脚混排），传统分块方法往往只看文字流，容易把一段内容切散。这款工具用纯 Rust 写的，不依赖 LLM（大语言模型），而是通过解析 PDF 的版面布局来分析段落边界，从而更精准地保留语义单元。
- Rust 语言的特点是无垃圾回收、性能接近 C/C++、内存安全，适合做这种底层文件处理工具。项目名为 "pdf-struct-chunker"，目标是直接输出结构化的文本块，方便后续做检索增强生成（RAG）或文档分析。
- 作者 Matthias Nordwig 是德国开发者，此前也维护过几个 PDF 相关的 Rust 库。这个项目的竞争对象包括 Python 生态的 LlamaParse、marker（依赖深度学习模型）等，但它强调零 LLM 依赖、纯 Rust 编译，适合在本地离线或低配置环境下运行。
- 对中文读者来说，该工具依赖的 `pdf` 和 `lopdf` 库对 CJK（中日韩）字符支持不一定完善，中文竖排、标点悬挂等复杂版面效果可能需要额外测试。