「一晩で解決」と謳われたClaudeの不安定なテスト対策、実用化までに2週間を要した理由
thoughtbotのエンジニアが、不安定なテスト（flaky tests）を自動修正するClaude AIソリューションを評価・実用化した経験を報告。当初「一晩で解決」と謳われたこの手法は、実際にはラベル抽出やCIログのパースなど様々な改良を経て2週間かけて実用レベルに達した。テスト結果の差分検出やログ解析の精度向上など、実運用に向けた地道な調整の重要性が語られている。
背景メモ
- thoughtbotは、高品質なWeb/モバイルアプリ開発とコンサルティングで知られる老舗開発会社。「Ruby on Rails」コミュニティへの貢献で特に有名。
- 「flaky tests（不安定なテスト）」とは、コードに変更がないのに、実行のたびに成功したり失敗したりするテストのこと。チームの生産性やCI（継続的インテグレーション）パイプラインの信頼性を大きく損なう、ソフトウェア開発現場の長年の悩み。
- Claude（Anthropic社のLLM）には「artifacts」機能があり、チャット内でコードの生成・表示・編集ができる。同社はClaudeに「コードを書かせる」ユースケースを積極的に推している。
- 本記事の著者は、Claudeに対して「flaky testsを修正して」と依頼し、Claudeが「これで一晩で解決」と提案した修正コードを実際に試したところ、そのままでは使えず、改良に2週間かかった体験を詳述している。AIが生成したコードをそのまま本番品質で使うことのギャップをリアルに伝える内容。