Benchmark unlimited Claude.md files against eachother
Clawmark is a tool that benchmarks Claude.md files against each other, allowing users to compare performance across unlimited configurations. It helps evaluate different prompt strategies and system instructions for Claude-based applications by running structured tests and providing comparative results.
背景メモ
- Clawmark は、複数の Claude.md ファイル（Claude AI が参照するプロジェクトレベルの指示書）を比較ベンチマークするための CLI ツール。
- Anthropic の Claude は開発者向けに「Claude.md」というマークダウンファイルをプロジェクトルートに配置でき、これに基づいてコード生成や応答のスタイル・ルールをカスタマイズできる。
- このツールは、異なるバージョンの Claude.md を同一のクエリセットに対して実行し、その出力を比較。プロンプトエンジニアリングの効果測定や、Claude.md のバージョン管理に使われる。
- Go で書かれており、GitHub 上で公開されている個人製 OSS。大規模な商用ツールではなく、ニッチな開発者ユーティリティ。
- 背景として、Anthropic が Claude の Projects 機能で Claude.md をサポートしたことで、LLM の system prompt 管理をコードベースで行うワークフローが生まれている。