Show HN: Is grep enough? A transparent benchmark for agentic code navigation
LSPサーバーは複雑すぎると感じ、Bashツールだけでは力不足だったため、tree-sitterを第一級のツールとして使った場合の性能を検証。Bitcoin、Django、Rails、Redisなど10の大規模コードベースに対し、5段階の探索難易度で計150回の独立した評価を実施。すべてのスクリプト、Dockerイメージ、トランスクリプトを公開し、完全な透明性を確保した結果を共有する。
背景メモ
- このプロジェクトは、AIエージェントが大規模コードベースを理解・操作するための手法をベンチマーク比較したもの。ホストは個人開発者で、Show HN経由で公開している。
- 「エージェント的コードナビゲーション」とは、LLM（大規模言語モデル）がソフトウェアを理解・改変する際に必要な「コードのどこを見ればよいか」の探索能力。これを自動化する手法の評価がテーマ。
- 比較対象：従来のgrep（単純文字列検索） vs. tree-sitter（構文解析ベースのツール） vs. LSP（言語サーバープロトコル、型情報などを提供）。LSPは機能的だが複雑すぎると筆者は考え、tree-sitterを「第一級ツール」として試している。
- ベンチマークは10個の大規模コードベース（Bitcoinコア、Django、Rails、Redisなど）に対して行われ、5段階の探索難易度ごとに合計150回の独立実行。結果・スクリプト・Dockerイメージ・全トランスクリプトが公開されており、再現可能な透明性を重視している。