Reap：编码智能体基准的自动策展
本文提出了Reap，一种用于自动策展和更新编程智能体基准测试的方法。随着大型语言模型在代码生成与理解方面能力的快速提升，传统的手动构造基准逐渐难以跟上发展步伐。Reap能够自动从真实代码仓库中提取和构建评估任务，保证基准的时效性、多样性和难度适配性，减少人工标注成本，为编程智能体提供更可靠的评测环境。
背景速读
- 本文介绍的是 **Reap**，一个自动为编程智能体（coding agent）生成评测基准（benchmark）的系统。
- 当前编程智能体评测主要依赖人工精心构造的题目集（如 HumanEval、SWE-bench），但这些基准有两大问题：一是构建成本高、更新慢，难以覆盖真实开发场景；二是随着模型在公开基准上过拟合，其区分能力下降。
- Reap 的核心思路是通过分析 GitHub 上的真实代码修改（commit）来自动生成评测题目，无需人工编写。它从开源仓库中提取问题描述、代码上下文和期望的修改，以此作为测试用例。
- 这项研究的意义在于：如果成功，可以让编程智能体的评测随开源生态自动进化，大幅降低基准维护成本，并缓解“数据泄露”（模型在训练中见过测试题）的问题。