Databricksの数百万行コードベースにおけるコーディングエージェントのベンチマーク
Databricksは、自社の数百万行に及ぶ大規模コードベースを用いて、AIコーディングエージェントの性能を評価する新しいベンチマークを発表した。この取り組みは、実際のエンタープライズ規模のリポジトリにおけるエージェントの有効性を測定することを目的としており、コード生成やデバッグなどのタスクでの精度と効率を検証する。
背景メモ
Databricksは、Apache Sparkを生み出したデータ分析・AIプラットフォーム企業（本社サンフランシスコ）。同社が自社の数百万行規模の本番コードベースを使い、AIコーディングエージェント（Claude Code、Cursor、Copilotなど）の実務性能を比較するベンチマークを発表した話。ポイントは3つ。
- 従来のベンチマーク（例：SWE-bench）は小規模なオープンソースのバグ修正問題で測定されるが、Databricksは自社の巨大なプライベートリポジトリで実際のPull Request（PR）をタスクに採用。より現実的な評価を狙う。
- 結果として、AnthropicのClaude CodeがClaude 3.5 Sonnetと組み合わせた場合に最高の成功率を記録。課題の約45%を修正できる一方、次点のCursorは約30%弱にとどまった。また、エージェントが自己修正（ループして失敗を直す）できるかどうかが成功率に大きく影響する点も示された。
- 同社はこれを「SEABench」として公開・継続更新予定。AIアシスタントが実際の大規模開発現場でどれだけ役立つかの指標として注目されるが、評価コードベースがDatabricks特有であるため一般化できるかは議論の余地がある。