LocalContextRouter – テキストPDFページにビジョントークンの料金を支払うのをやめよう
LocalContextRouterは、テキストベースのPDFを画像として処理する際に発生する高額なビジョントークン費用を回避するためのツールです。PDFの各ページがテキストか画像かを自動判別し、テキストページは従来のテキストモデルで処理することで、APIコストを大幅に削減します。LLMを活用した文書処理の効率化とコスト最適化を実現します。
背景メモ
- LocalContextRouter は、PDFや文書を処理する際に、テキストページなのに高額なビジョントークン（画像処理用トークン）を支払っている現状を問題視するオープンソースツール。
- 文書の各ページを「テキストのみ」「画像主体」「図表を含む」などに分類し、テキストページは通常のテキストトークンで処理し、画像が必要なページだけビジョンモデルにルーティングする。これによりAPIコストを大幅に削減できる。
- LLM API（OpenAI, Anthropic等）の価格体系では、画像トークンはテキストトークンより数倍〜数十倍高額。大量のPDFをスクリーニングする研究や業務では、この差が大きなコストインパクトになる。
- 作者はSiddharth（sid732）。同種のツールとしては、文書中の図表だけを抽出するDoclingや、ページ単位のルーティングを行う小規模なスクリプト群が存在するが、本ツールは「分類＋ルーティング」を一つの軽量パイプラインで提供する点が特徴。