Human-bench: an eval for "human shaped" agents
Human-bench is a benchmark designed to evaluate AI agents that interact with the world in human-like ways—using vision, language, and physical actions. It provides a leaderboard ranking agents based on how well they perform tasks that resemble human cognitive and physical abilities, aiming to measure progress toward more natural and capable AI systems.
背景メモ
- Human-bench は、AIエージェント（Webブラウザを自律操作するAIシステム）が「人間らしい」行動をどれだけ取れるかを評価する新興ベンチマークです。従来の性能指標（タスク達成率など）に加え、操作の自然さや効率性も測定対象。
- リーダーボード形式で公開されており、各エージェントがWebフォーム入力や情報検索などの日常的なオンラインタスクを、人間と同程度の手順・速度で実行できるかをスコア化。現在はAnthropic社（Claude）やOpenAI社（GPT）などの主要モデルが上位を競っています。
- 「人間らしさ」を評価軸に加えた背景には、AIエージェントが実際の人間用インターフェース（GUI）で働く際、不自然な操作パターン（異常な高速クリックや無駄なページ遷移など）がWebサイト側の誤検知やブロックを引き起こす問題があります。人間らしく振る舞えることは、実用上の深刻な障壁を回避するために重要視されつつある。