Precise, consistent, reliable code coverage
This talk explores advanced techniques for achieving precise, consistent, and reliable code coverage measurements. It covers common pitfalls in coverage tools, strategies to avoid false positives and negatives, and methods to ensure coverage data truly reflects test quality and code health.
背景メモ
- コードカバレッジ（テストがコードのどの行を実行したかを計測する指標）はソフトウェア開発で広く使われるが、行単位の「ラインカバレッジ」はif文の条件分岐の一部だけ通れば「カバー済み」とみなすなど不正確で、開発者に誤った安心感を与えがち。
- 本トークは「オペレーションカバレッジ」や「パスカバレッジ」など、より厳密な手法と、それらを実用的に組み合わせる方法を解説。特にRust言語のカバレッジツール（tarpaulin, grcov, cargo-llvm-cov）の問題点と、LLVMの Source-Based Coverage やSanitizerCoverage といった低レベル計測手法を比較。
- 発表者はRustのテスト基盤に取り組む開発者。カバレッジの「再現性」（同じテストで同じ結果が出るか）と「一貫性」（異なる環境で結果が一致するか）が、CIや厳格な品質管理では特に重要だと指摘。