Find the questions your RAG pipeline will fail on, before your users do
ragProbe is a tool that proactively identifies edge cases and failure points in your RAG (Retrieval-Augmented Generation) pipeline. By testing your system against a curated set of challenging queries, it helps you uncover weaknesses in retrieval and generation before they impact real users, enabling more robust and reliable AI applications.
背景メモ
- **RAG（検索拡張生成）** とは、大規模言語モデル（LLM）が外部データベースから関連文書を検索し、その内容を基に回答を生成する手法。企業の社内文書を使ったQ&Aチャットボットなどで広く使われている。
- **ragProbe** は、RAGパイプラインがどの質問に正答できず、どの質問に正答できるかを事前に診断するテストツール。既存の評価ツールは「正解データと照合する」方式だが、ragProbeは「LLM自身に問題を生成させ、その難易度を測定する」アプローチを取る。
- 具体的には、RAGの応答を「根拠となる文書が存在するか」「文脈を正しく使っているか」「回答が事実と一致しているか」の3軸で評価。間違えやすいクエリのパターンを可視化する。
- 開発者にとっては、ユーザーにリリースする前に弱点を特定し、パイプラインの設計（チャンクサイズ、検索方式、プロンプト）を改善できる点が実務上の価値。