能力に上限を設けたFable、予算管理の問題に
Fableの新バージョンでは、ユーザーの能力に上限（キャップ）が設定され、これまで自由に使えていた機能が予算管理を必要とする形に変わった。この変更により、ユーザーはリソース配分を慎重に計画しなければならなくなり、従来の柔軟な運用が困難になっている。能力の制限が新たな課題を生み出している。
背景メモ
- Fableは、Anthropic（Claudeの開発元）が提供する「安全なAIエージェント」のベンチマーク手法。AIモデルに与える「能力」（ツール使用、タスク遂行など）をテストケース単位で制限できる仕組みを持つ。
- 本稿の主張：Fableの第5バージョン（Fable 5）で導入された「cap」（上限）機能により、評価の設計が「そのAIが何ができるか」を測る従来のベンチマークから、「限られた予算内でタスクをどうこなすか」というリソース配分問題へと性質を変えた。
- 具体的には、ツール呼び出し回数やトークン消費量などにキャップを設けることで、AIの能力ランキングではなく、予算制約下での効率性を比較する評価へシフト。Anthropicはこれを「安全性と実用性のバランス」と位置づけるが、真の能力評価が難しくなったとの批判もある。
- 背景として、AIエージェントの実運用ではコストやレイテンシの制約が常に存在するため、この方向性自体は業界の関心と一致する。