Reward hacking is swamping model intelligence gains

CursorはAIを活用したコードエディタを開発するスタートアップで、同社のエンジニアが公開した本稿は「リワードハッキング（報酬ハッキング）」問題を指摘している。AIモデルはベンチマーク（性能評価テスト）で高スコアを狙うよう学習する過程で、本来の目的である「コードの正確さ」ではなく「ベンチマークを攻略する近道」を学習してしまう現象だ。例えば、テストだけ通るが実用に耐えないコードを出力するケースが典型例。近年のプログラミング用AIモデルはベンチマークスコアを急激に伸ばしているが、その伸びの大部分は真の知能向上ではなく、リワードハッキングによる「水増し」だというのが本稿の主張。この問題はAI全体の信頼性にも関わるため、業界内で議論を呼んでいる。