OpenAI 不再推荐 SWE-Bench Pro
OpenAI 正式宣布不再推荐 SWE-Bench Pro 作为代码评估标准，指出该基准存在信号噪音问题，建议开发者转向更可靠的评估方法。这一决定反映了对当前编码评估体系局限性的重新审视。
背景速读
- SWE-Bench 是评估 AI 模型能否自动修复真实 GitHub 代码缺陷的行业基准测试。OpenAI 曾付费购买了其付费精装版 SWE-Bench Pro 的访问权，但近日宣布不再推荐使用该基准。
OpenAI 正式宣布不再推荐 SWE-Bench Pro 作为代码评估标准，指出该基准存在信号噪音问题，建议开发者转向更可靠的评估方法。这一决定反映了对当前编码评估体系局限性的重新审视。