SWE-Bench Proの推奨をOpenAIが取り下げ
OpenAIは、ソフトウェアエンジニアリング評価ベンチマーク「SWE-Bench Pro」の推奨を停止した。同ベンチマークにはノイズや評価上の問題が含まれており、コード評価のシグナルとノイズを分離する必要性を強調している。
背景メモ
• SWE-Benchは、大規模言語モデル（LLM）が実世界のソフトウェアエンジニアリング課題をどの程度解決できるかを測るベンチマーク（評価基準）。元はプリンストン大学が開発したオープンなデータセットで、GitHubの実際のIssue（バグ報告）とそれに対応する修正コードを用いてモデルをテストする。
• SWE-Bench Proは、その商用版として公開された評価セットだが、OpenAIの内部検証の結果、テストデータにリーク（本来モデルが参照すべきでない情報が学習データに混入）があることが判明。これによりスコアが実力以上に高く出るため、指標として信頼できないと判断された。
• OpenAIが自社の評価指標を公式に「非推奨」とするのは異例の措置。業界ではベンチマークの「オーバーフィッティング」（特定のテストに過剰適合し、汎用性能が低い状態）が問題視されており、この発表はその流れを象徴する出来事。
• 背景として、AIモデルの性能を測る標準的な手法が確立しておらず、各社が独自の評価基準を重視する傾向が強まっている。OpenAIは今後、SWE-Bench Proに代わる自社の評価手法を採用する方針。