LLM不要、レイアウト認識型PDFチャンカー（純Rust実装）
matthiasnordwig氏が開発した、LLMを一切使わずにレイアウトを認識しながらPDFをチャンク分割するツール。純粋なRustで実装されており、高速かつ軽量な動作が特徴。ページ内の段落、表、リストなどの構造を解析し、文脈を保ったチャンクを生成する。
背景メモ
- このプロジェクトは「matthiasnordwig/pdf-struct-chunker」という、Rust製のPDF分割ツール。<br>- 「チャンキング（chunking）」とは、長文PDFを意味のある小さな単位（チャンク）に区切る処理。RAG（検索拡張生成）パイプラインでベクトル検索の精度を上げるために必須だが、単純に文字数で切るとレイアウトや段落が壊れやすい。<br>- 従来の手法はLLM（大規模言語モデル）に頼るか、Pythonのライブラリ（例：LangChain、Unstructured）が主流。このツールはLLMを一切使わず、Rustだけでレイアウト情報（段落、見出し、改ページなど）を維持したまま分割する点が特徴。<br>- Rust製であるため、Python製ツールより高速でメモリ効率が良く、APIサーバーやローカル処理に組み込みやすいという実用的メリットがある。<br>- PDF構造の解析には低レベルなPDFパーサー（例：lopdf, pdf-extract）が通常使われるが、このツールは「レイアウト認識」を重視している点が差別化要因。