SWE-bench官方FAQ
500个Verified问题及补丁执行检查;提供软件缺陷修复参考类。
原文位置:官方FAQ核查;版本 2026-10-22
不能据此推出:只覆盖所定义问题;不能代表前后端完整交付,也不能把Resolved当作岗位时间份额。
核查 2026-10-22 · 所属资料版本 2026-10-24.studies.5 · 来源ID ai-software-engineer--SWEVER
实际引用在哪里
SWE-bench Verified及其审计 →
公开Python仓库issue patch+fail-to-pass/regression测试。;基准边界非岗位总分
关系:benchmark-boundary
现有栈 + IDE/CLI协作Agent →
经路线所引用主张间接支持条件和责任;不证明平台净收益
关系:indirect
现有框架内强化成熟库与确定性验证 →
经路线所引用主张间接支持条件和责任;不证明平台净收益
关系:indirect
issue修复、复杂功能、参考程序行为重建、网页视觉和交互是不同任务与测试对象,不能外推为完整全栈工作包成功率、岗位工时或替代率。 →
按任务子类选择外部证据和验收方式
关系:跨benchmark测量对象审查
OpenAI从Verified 500项中审计了138项(27.6%,为模型常未解难题而非随机样本);其中59.4%有实质测试/题面问题,可能拒绝合理实现。 →
检查测试有效性,报告失败分母并保留维护者审查
关系:OpenAI既参与维护Verified又发布审计
SE02.01 建立本地运行环境 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE02.02 追踪前后端调用链 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE02.03 复现问题并固定样例 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE04.01 定义模型与不变量 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE04.02 实现迁移与回滚 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE04.03 验证旧数据兼容 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE04.04 验证查询与索引 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE05.01 定义请求与错误契约 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE05.02 实现服务与查询 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE05.03 实现幂等与并发边界 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE05.04 运行契约与回归测试 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE11.01 设计测试分层与夹具 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE11.02 编写单元与属性测试 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE11.03 建立契约与服务替身 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE11.04 审查判据与覆盖缺口 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE18.01 收集和最小化证据 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE18.02 定位跨层根因 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE18.03 实现最小修复 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE18.04 独立回归与关闭 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持