DSPyを用いたDatasette AgentのSQLシステムプロンプトの評価と改善
AI研究者のSimon Willison氏が、DSPy（Stanfordのプログラム自動改善フレームワーク）を使ってDatasette AgentのSQLシステムプロンプトを評価・改善した実験を公開。Claude Code経由でClaude Fable 5に非同期タスクを実行させたところ、GPT-4.1 mini/nanoでのテストにより、スキーマ情報にカラム名を含めるべきなど複数の改善点が特定された。特に「既に情報を持っているならdescribe_tableを呼ばない」という指示がカラム名の推測やエラーを引き起こしていた問題が指摘されている。
背景メモ
- <strong>Simon Willison</strong>：著名なPython／ウェブ開発者で、オープンソースのデータ探索ツール「Datasette」の作者。AIエージェントがSQLデータベースを操作する実験も積極的に行なっている。<br>
- <strong>Datasette Agent</strong>：LLM（大規模言語モデル）に自然言語の質問を与えると、自動で読み取り専用SQLクエリを生成・実行し、結果を返すエージェント。今回の研究対象。<br>
- <strong>DSPy</strong>：スタンフォード大発のフレームワークで、LLMのプロンプトやパイプラインをプログラムから自動最適化できる。いわば「プロンプトエンジニアリングの自動化ツール」。<br>
- <strong>Claude Code for Web / Claude Fable 5</strong>：Anthropic社の開発者向けCLIツール「Claude Code」のWeb版（Claude Code for Web）と、その中で使われているモデル（Fable 5）。Willisonはこれを非同期タスクランナー的に使っている。<br>
- <strong>背景</strong>：LLMにSQLを生成させる際、プロンプト内で「テーブル名だけを渡し、カラム名はLLMが必要に応じて取得せよ」という指示が逆にミスを誘発していた。DSPyで実際の実行ログ（トレース）を分析し、改善点を特定した。