SWE-bench Verified评测局限
2026-02-23分析提出污染及测试拒绝正确解等问题。
原文位置：官方分析正文开头核查；版本 2026-02-23
不能据此推出：审计的是特定子样本，不能推成所有基准失效；本报告不据此调整一个固定折扣。
核查 2026-10-22 · 所属资料版本 2026-10-24.studies.5 · 来源ID ai-software-engineer--SWEAUDIT
实际引用在哪里
SWE-bench Verified及其审计 →
公开Python仓库issue patch+fail-to-pass/regression测试。；基准边界非岗位总分
关系：benchmark-boundary
现有栈 + IDE/CLI协作Agent →
经路线所引用主张间接支持条件和责任；不证明平台净收益
关系：indirect
现有框架内强化成熟库与确定性验证 →
经路线所引用主张间接支持条件和责任；不证明平台净收益
关系：indirect
issue修复、复杂功能、参考程序行为重建、网页视觉和交互是不同任务与测试对象，不能外推为完整全栈工作包成功率、岗位工时或替代率。 →
按任务子类选择外部证据和验收方式
关系：跨benchmark测量对象审查
OpenAI从Verified 500项中审计了138项（27.6%，为模型常未解难题而非随机样本）；其中59.4%有实质测试/题面问题，可能拒绝合理实现。 →
检查测试有效性，报告失败分母并保留维护者审查
关系：OpenAI既参与维护Verified又发布审计
SE02.01 建立本地运行环境 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE02.02 追踪前后端调用链 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE02.03 复现问题并固定样例 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE06.01 定义身份与授权矩阵 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE06.02 集成会话与鉴权 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE06.03 实现授权与行级规则 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE06.04 攻击性回归检查 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE11.01 设计测试分层与夹具 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE11.02 编写单元与属性测试 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE11.03 建立契约与服务替身 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE11.04 审查判据与覆盖缺口 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE14.01 定义威胁与信任边界 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE14.02 检查依赖与配置 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE14.03 修复漏洞与错误路径 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE14.04 独立复核高风险变化 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE18.01 收集和最小化证据 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE18.02 定位跨层根因 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE18.03 实现最小修复 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE18.04 独立回归与关闭 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.01 定义AI输出与失败契约 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.02 集成模型与检索流程 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.03 建立样例与独立评测 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.04 核对成本和降级体验 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持