Anthropic、Sonnet 5の評価チャートを改変—自社モデルに不利な結果を受けて
Anthropicは、自社のAIモデル「Sonnet」のベンチマーク結果が他社製品と比較して低評価だったことを受け、公開していた性能比較チャートをこっそり修正したと報じられている。同社は透明性を重視する姿勢を掲げているが、この改変行為は批判を招いている。
背景メモ
- Vincent Schmalbach（ビンセント・シュマルバッハ）はAIモデルの比較レビューで知られる独立系ブロガー。今回の記事は、Anthropic（アンソロピック）が自社の新しいモデル「Claude Sonnet 5」の性能を示すベンチマークチャートを、公開後にひそかに修正したと指摘する内容。
- AnthropicはOpenAIの元社員らが設立したAI企業で、安全性を重視したモデル開発で知られる。Claudeシリーズは同社の代表的LLM（大規模言語モデル）。
- 問題のチャートは、Sonnet 5が前世代（Sonnet 4）や競合（GPT-4o、Gemini 2.0など）と比較してどれだけ優れているかを示すもの。当初のバージョンでは、Sonnet 5とSonnet 4の差が小さく、競合との差も際立たなかった。修正後は軸のスケールや表示範囲が変わり、Sonnet 5がより有利に見えるようになっていたという。
- AI企業がベンチマーク結果を都合よく見せる「グラフ操作」は業界でたびたび批判される問題。特に、モデルの性能差が微妙な局面では、軸のトリミングや比較対象の選び方で印象が大きく変わる。Schmalbachの検証は、Anthropicのような「誠実さ」を売りにする企業にも同等の基準が適用されるべきだという立場からのもの。