ProgramBench
没有模型设置完全解出任务；Claude Opus 4.7仅3%任务通过至少95%测试。论文页眉v1为2026-05-05，正文脚注另列2026-08-24，日期口径保留。
原文位置：原论文v1任务定义、评测设置和结果核验；版本 2026-05-05
不能据此推出：这是黑盒行为重建，不是自然语言新需求到完整B2B产品开发；测试近似目标行为，不代表维护性、完整需求或生产质量。
核查 2026-10-22 · 所属资料版本 2026-10-24.studies.5 · 来源ID ai-software-engineer--PROGRAM
实际引用在哪里
ProgramBench v1黑盒程序行为重建 →
给定参考可执行程序和文档重建I/O行为。；基准边界非岗位总分
关系：benchmark-boundary
现有栈 + IDE/CLI协作Agent →
经路线所引用主张间接支持条件和责任；不证明平台净收益
关系：indirect
现有框架内强化成熟库与确定性验证 →
经路线所引用主张间接支持条件和责任；不证明平台净收益
关系：indirect
issue修复、复杂功能、参考程序行为重建、网页视觉和交互是不同任务与测试对象，不能外推为完整全栈工作包成功率、岗位工时或替代率。 →
按任务子类选择外部证据和验收方式
关系：跨benchmark测量对象审查
ProgramBench v1给Agent参考可执行程序和文档，要求重建输入/输出行为；它不是新需求下完整B2B软件设计。200题、9模型均无完全解；Claude Opus 4.7仅3%任务达到≥95%测试。 →
行为等价与隐藏测试可启发验收设计；结构可维护性须与表面测试分开看
关系：Meta FAIR/Stanford等作者原始预印本；页眉2026-05-05 v1与正文注明2026-08-24日期不一致
SE03.01 比较部署与服务边界 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE03.02 评估库或SaaS适用性 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE03.03 验证关键技术假设 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE03.04 冻结接口与决策记录 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE13.01 定义测量场景与预算 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE13.02 分析前端资源与交互 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE13.03 检查查询与后端瓶颈 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE13.04 优化并同条件复测 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE17.01 定义观测和告警信号 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE17.02 实现追踪与告警集成 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE17.03 验证告警与接管 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE17.04 编写运行手册 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.01 定义AI输出与失败契约 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.02 集成模型与检索流程 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.03 建立样例与独立评测 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE19.04 核对成本和降级体验 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE20.01 整理开发与接口文档 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE20.02 记录取舍与技术债 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE20.03 演练接手与恢复 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持
SE20.04 确认交接及维护责任 →
机制或任务边界参照，不提供本地任务成绩
关系：部分支持