花了两个星期才让Claude的“过夜解决方案”对脆性测试变得有用
thoughtbot团队分享了他们尝试使用Claude提出的“过夜解决方案”来修复脆性测试的真实经历。原本以为只需一晚就能完成的任务，实际花费了两周时间进行调试、调整和优化才能让这个AI方案真正发挥作用。文章详细讲述了自动化修复过程中遇到的挑战，包括误报、上下文理解不足以及需要人工干预的关键环节，为那些考虑引入AI辅助测试维护的团队提供了宝贵的经验教训。
背景速读
- Flaky tests（不稳定测试）指的是测试代码偶尔失败、但被测试的代码本身并没有问题。这类测试会浪费团队时间、降低对测试套件的信任。
- Anthropic 的 Claude（尤其是 Sonnet 和 Opus 模型）是当前最强的 AI 代码生成模型之一，经常被宣传为能“一夜之间”解决工程难题。
- 本文作者来自 thoughtbot，一家知名的 Ruby on Rails 外包咨询公司，长期输出高质量的技术 blog。他们对 AI 辅助编程的态度偏务实、不盲目。
- 核心差异：AI 公司的营销暗示这类问题是“即时解决”的，但实际工程落地需要人工调试提示词、过滤误报、修复上下文不足等问题。作者花了整整两周才让方案真正可用。