FeatureBench
v1含200任务、3,825环境、24个Python开源仓库；Claude Opus 4.5全集resolved 11.0%，Codex+GPT-5.1-Codex medium为12.5%；逐题passed与resolved不同。
原文位置：论文摘要与官方项目页核查；版本 2026-02-11
不能据此推出：复杂多文件特征任务；不得将resolved率与SWE-bench榜单分数或本地成功率直接比较，论文模型/工具/预算限定。
核查 2026-10-22 · 所属资料版本 2026-10-24.studies.5 · 来源ID ai-software-engineer--FEATURE
实际引用在哪里
FeatureBench v1复杂功能 →
从历史功能痕迹构建可执行多文件特征任务。；基准边界非岗位总分
关系：benchmark-boundary
现有栈 + IDE/CLI协作Agent →
经路线所引用主张间接支持条件和责任；不证明平台净收益
关系：indirect
现有框架内强化成熟库与确定性验证 →
经路线所引用主张间接支持条件和责任；不证明平台净收益
关系：indirect
issue修复、复杂功能、参考程序行为重建、网页视觉和交互是不同任务与测试对象，不能外推为完整全栈工作包成功率、岗位工时或替代率。 →
按任务子类选择外部证据和验收方式
关系：跨benchmark测量对象审查
FeatureBench v1为200个复杂功能任务/3,825环境/24个Python仓库；论文报Claude Opus 4.5 Full set resolved rate 11.0%，完全解决率低于部分测试通过率。 →
复杂多文件功能应与issue patch分别评估；部分通过不等于完整交付
关系：研究作者实验
SE01.01 澄清行为与非功能约束 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE01.02 建立验收与反例 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE01.03 拆分增量与依赖 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE01.04 确认变更与责任 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE03.01 比较部署与服务边界 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE03.02 评估库或SaaS适用性 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE03.03 验证关键技术假设 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE03.04 冻结接口与决策记录 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE04.01 定义模型与不变量 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE04.02 实现迁移与回滚 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE04.03 验证旧数据兼容 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE04.04 验证查询与索引 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE05.01 定义请求与错误契约 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE05.02 实现服务与查询 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE05.03 实现幂等与并发边界 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE05.04 运行契约与回归测试 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE06.01 定义身份与授权矩阵 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE06.02 集成会话与鉴权 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE06.03 实现授权与行级规则 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE06.04 攻击性回归检查 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE11.01 设计测试分层与夹具 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE11.02 编写单元与属性测试 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE11.03 建立契约与服务替身 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE11.04 审查判据与覆盖缺口 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE13.01 定义测量场景与预算 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE13.02 分析前端资源与交互 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE13.03 检查查询与后端瓶颈 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE13.04 优化并同条件复测 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE15.01 配置构建与依赖缓存 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE15.02 连接测试与质量门 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE15.03 处理秘密与环境差异 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.01 定义AI输出与失败契约 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.02 集成模型与检索流程 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.03 建立样例与独立评测 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.04 核对成本和降级体验 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持