arxiv.org·2026/10/20
针对SWE-Bench Pro因智能体能力提升而暴露的数据缺陷与评估漏洞，作者审计全部731个公开任务，经工程师裁决和盲复现验证，修复或退役480/731个任务，发布SWE-Bench Pro V2共642个任务及51个任务的Hard split；同时硬化验证器、清空git历史、限制网络到模型端点并在干净容器重判补丁。作者报告Claude Opus 5在Claude Code上解析率达99.4%，高于Gemini 3.8 Flash和Inkling，Hard split进一步拉开差距；开放权重模型在不同scaffold下准确性几乎不变而token成本变化。作者认为前沿接近饱和但该基准仍可用于成本、耗时、scaffold选择与回归测试，并总结应修指令不改测试、盲复现、干净容器判分和版本化发布；局限是无法阻止训练期记忆。
为什么重要 SWE-Bench Pro 分数被用来选模型和 scaffold，题目缺陷会直接带偏选型；这套修补流程与加固协议可复用到自建评测集。适合 做 agent 评测、数据质量与训练闭环的工程和研究人员
SWE-Bench Pro 是一个被广泛使用的、面向编码智能体的长时程软件工程任务基准。随着智能体能力的提升，它们会触及早期智能体从未接触过的任务问题，并以原始评估框架（harness）未曾预料到的方式与评估环境进行交互。我们提出了 SWE-Bench Pro V2，这是一个经过修订的公开数据划分（public split），旨在随着能力进步保持基准的准确性。
通过智能体审计、专家裁决和盲重实现，731 个任务中有 480 个被修复或退役：23 名签约工程师投入了 404 小时，每人都使用自己职业工作中编写的编程语言进行工作，且每条修订后的指令都由第二名工程师仅凭文本独立求解该任务来加以验证。
一套强化的协议将网络访问限制为仅可访问模型端点，并在干净的容器中对每个补丁重新评分，因此智能体无法检索上游修复，也无法因补丁之外的更改而获得分数。在 642 个 V2 任务上，前沿智能体的解决率最高可达 99.4%，而其他系统仍保持明显的区分度；一个包含 51 个任务的 Hard 划分使各系统的表现从 52.9% 拉开到 98.0%。
我们发布了该基准，并提炼了关于长期维护智能体基准的经验教训。
SWE-Bench Pro is a widely used benchmark of long-horizon software engineering tasks for coding agents.
As agents improve, they reach task issues earlier agents never touched and interact with the evaluation environment in ways the original harness did not anticipate.
We present SWE-Bench Pro V2, a revised public split built to keep the benchmark accurate as capabilities advance.
Agentic audits, expert adjudication and blind re-implementation repaired or retired 480 of the 731 tasks: 23 contracted engineers spent 404 hours, each working in a language they write professionally, and every revised instruction was verified by a second engineer solving the task from the text alone.
A hardened protocol restricts network access to the model endpoint and re-grades every patch in a clean container, so agents cannot retrieve upstream fixes or get credit for changes outside their patch.
On the 642 V2 tasks frontier agents resolve up to 99.4% while other systems stay clearly separated, and a 51-task Hard split spreads systems from 52.9% to 98.0%.
We release the benchmark and distill lessons for maintaining agent benchmarks over time.
EVIDENCE / METHODS
要点
智能体变强后触达早期从未被到达的 issue，并以原评测框架未预料的方式与环境交互。
原版排版与图表 · 手机无法内嵌时可在浏览器打开。PDF 插件内选文不能传给网页助手。