Show HN: Caliper – Claude CodeとCodexスキル向けpass@k信頼性テスト
Claude CodeやCodex向けスキルの評価を標準化する軽量テストフレームワーク「Caliper」。スキルを隔離環境でk回実行し、pass@kスコア（成功回数）を計測する。YAMLで成功条件を定義し、LLM判定とPythonアサーションを組み合わせ可能。--baselineフラグでスキルあり/なしの結果を比較し、実際の効果を可視化できる。CLIから簡単に実行でき、複数のエージェントや判定バックエンドに対応。
背景メモ
- **Claude Code / Codex**: Anthropic と OpenAI がそれぞれ提供する、ターミナル上で動作する AI コードエージェント。自然言語の指示からコードの生成・編集・実行を自律的に行う。
- **「Skill（スキル）」**: これらのエージェントに特定のタスクの実行方法を教えるカスタム指示セット。公開・共有もできるが、非決定的なLLMの動作に依存するため、モデル更新で想定通り動かなくなることがある。
- **pass@k**: LLMの性能評価指標の一つ。同じタスクをk回実行し、何回成功したかを確率で示す。「1回動いた」ではなく「k回中どの程度安定して動くか」を測る点が従来の単発テストとの違い。
- **Caliper**: 上記の問題に対処するために作られた軽量なテストランナー。エージェントのスキルを隔離環境でk回実行し、pass@kスコアを算出する。YAMLでテスト仕様を記述し、LLM JudgeやPythonアサーションで成否を判定。「スキルあり」「スキルなし」の両方を実行して差分（Delta）を出せるのが特徴で、スキルが実際に役立っているかの定量評価を可能にする。