# 计算机 · 软件工程：AI任务边界证据

版本 2026-10-19.boundary.1；截至 2026-10-19；整理 2026-10-19

全模块16个代表任务切片；当前聚焦1个C03；不是完整职业清单或任务覆盖比例。
主轴按原始材料公开日期；实验/上线时点另列。历史空白仅表示本次未收录证据；后来的质疑不偷偷改写早期结果。
任务定义、验收和术语是今天整理的对照框架；历史筛选只约束证据公开时间，不代表这些说明在当时已经存在。
实际覆盖比例：未知（null）

# C03 熟悉项目维护：先看完整交付，再看生成速度：试点准备材料

模块 2026-10-19.boundary.1；方法整理 2026-10-19
证据状态 active；实际覆盖比例未知（null）
这是准备模板，不启动执行。

补全新代码和改熟悉仓库，是两种任务。AI生成得快，不代表你连同核对和返工也更快。
适配：相近软件工作实验支持试点设计，不能给这个仓库承诺收益。先限定一个可回滚问题。

## 交接与验收
1. 定义问题（人决定）：选择一个可回滚修复，列出原行为与不能改变的行为。
   产物：任务说明与验收用例
   门槛：问题范围、权限与回归门槛先明确
   编辑安排：本步骤是本站为交付和接收提出的组织安排；没有本地逐步成功率。
   - 背景/方法：重复解决会影响PR接收；提醒先核对问题状态，不证明本项目效果；https://arxiv.org/html/2602.00164v1；§3.2 R1
2. 定位并草拟改动（AI草拟）：在给定文件与日志中提出原因和最小补丁；不自行扩展改造。
   产物：定位依据与待审补丁
   门槛：每处改动能回到问题和依据
   编辑安排：本步骤是本站为交付和接收提出的组织安排；没有本地逐步成功率。
   - 背景/方法：相邻方法启示，未验证本站案例；原有现场研究及其条件保留。；https://arxiv.org/html/2610.14224v1；§2.1–2.3；§3.1；§4
3. 检查行为（程序执行）：运行现有测试和针对问题的回归检查，记录失败而非只留成功输出。
   产物：检查记录与全部尝试
   门槛：修复目标通过、原有行为未退化
   编辑安排：本步骤是本站为交付和接收提出的组织安排；没有本地逐步成功率。
   - 适用条件：评测修订说明独立验证和环境会改变判断；用于设计回归条件；https://labs.scale.com/leaderboard/swe_bench_pro_public_v2?tab=full；9月22日更新说明
4. 审查与接收（人核验）：核对遗漏行为、错误路径与回滚，再决定是否合并。
   产物：审查决定与人时记录
   门槛：审查、返工、等待和接管都有记录
   编辑安排：本步骤是本站为交付和接收提出的组织安排；没有本地逐步成功率。
   - 背景/方法：接收还受协作与优先级影响，不能仅看生成；https://arxiv.org/html/2602.00164v1；§3.2；表1

## 人工构造、未执行AI任务的产物格式
【人工构造，未执行AI任务】
问题：输入为空列表时应返回空列表，不应崩溃。
保持：非空输入的原输出、错误输入的原错误语义。
产物：待审补丁 + 空/非空/错误输入回归记录 + 未覆盖行为。
审查决定：____；回滚入口：____。
提示/查找人时：____；审查：____；返工：____。
这是一份格式示例，没有代码改动、真实仓库或完成成绩。

## 失败与接管
- 补丁通过新增用例，却改变了错误路径：局部通过没有覆盖全部原行为。补错误路径回归；无法核对时回滚并由人接管
- 生成很快，但审查和返工更久：只看生成时长漏掉了人参与成本。记录全部人时，按同质量比较；允许净收益为负
- 额外检查与返工抵消生成收益：局部结果不足以证明完整交付合格。保留完整人时及原始依据，停止扩大委派并由人复核

## 限定试点
范围：一个熟悉仓库中可回滚的维护问题；不要直接扩大到整仓改造
基线：保存原工作量/质量门槛下的人独立流程；一次任务不能估计通用收益
验收：
- 目标问题和保持行为分别通过
- 保留全部尝试、审查/返工/接管记录
- 只在同工作量同质量下比较人时
分别记录人时：活动人时：准备与查找；活动人时：提示与交互；活动人时：人工审查；活动人时：返工；活动人时：接管与维护；另记：机器运行、等待及端到端历时；重叠活动不重复累计；若等待占用本人，注明计量约定
停止：行为未能核对、范围扩大或人参与成本持续上升时，暂停委派并接管

## 回执（实际发生后再填）
任务/版本/资料与环境：____
已授权范围与工具配置：____
实际输入/产物路径：____
全部尝试与逐项验收：____
最终接收/拒绝与接管：____
基线/准备/核验/返工人时：____
未知与未验证项：____
未经实际执行和逐项验收，状态保持未验证；默认本地保存，不上传。

## 条件比较
- 熟悉开源仓库（相近任务）：真实维护问题；16开发者、246任务
  设置：主要Cursor+Claude3.5/3.7，2025早期
  任务耗时：耗时增加19%，95%区间+2%至+39%
  限制：小而专门人群；不是所有开发者
- 三项企业开发实验（相近任务）：企业日常开发任务；4,867开发者
  设置：随机提供代码补全工具访问
  完成任务数：完成任务数+26.08%；标准误10.3%（SE，表示估计的不确定性）
  限制：不是省时26.08%；三研究异质，质量/利润未由本摘要测得
- METR后续（受限后续）：后续维护任务；10回访/47新招募
  设置：选择、报酬、并行计时改变
  任务耗时，弱证据：耗时−18%/−4%；两个区间跨零
  限制：研究者认为无法可靠估计当前收益
- 咨询任务的越界反例（背景参考）：18项范围内任务及一项范围外管理任务；758知识工作者
  设置：无AI/GPT4/GPT4+说明
  不同任务的时间/正确解指标：范围内更快；范围外正确解概率低约19个百分点
  限制：不是软件维护直接结果；不与上三行平均
- 修复PR的接收过程（相邻真实协作观察）：8106个AI参与修复PR；人工分析326个关闭未合并样本；五类代理所在开源仓库，非随机配对试验
  设置：依据采集时merged/closed/open状态；闭合原因人工编码
  PR状态分布，不是修复正确率或净人时：65.0%已合并；另有26.1%关闭未合并、8.9%开放
  限制：重复解决、优先级和审阅流程也影响未合并；没有测本团队收益
- 运行方法与完整成本（adjacent：方法相邻，不是本任务完成率）：冻结模型下的运行系统改进；作者实验；本站没有参与者或任务复跑
  设置：须分别看执行模型、编辑器、预算与验收
  本页不摘录分数；不与现有现场研究合并：提供过程改进的研究方法，未测本站收益
  限制：相邻方法启示，未验证本站案例；原有现场研究及其条件保留。

## 原始材料
- [METR早期2025开发效率RCT](https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/)；所引用版本公开2025-07-10；阅读2026-10-14；状态active；Methodology；Core Result；FAQ；16位熟悉所维护仓库的开发者/246任务；不代表所有程序员
- [METR后续研究设计修正](https://metr.org/blog/2026-02-24-uplift-update/)；所引用版本公开2026-02-24；阅读2026-10-14；状态active；首段及Wider adoption/Details of the productivity study；选择、支付和并行计时问题导致结果仅弱证据；不能据此计算可靠趋势
- [开发者三项现场实验（正式期刊版本）](https://pubsonline.informs.org/doi/10.1287/mnsc.2025.00535)；所引用版本公开2026-02-27；阅读2026-10-15；状态active；Abstract；Article Information / Published Online；Microsoft Research对应记录；复用现站FS071同一研究；4,867开发者，完成任务数指标，不是耗时/质量；正式版本日不是首次披露日
- [咨询工作的锯齿边界（正式期刊版本）](https://pubsonline.informs.org/doi/10.1287/orsc.2025.21838)；所引用版本公开2026-03-11；阅读2026-10-15；状态active；Published Online；Abstract；§4.2 Figure 5/Table 7；§6 Discussion（19个百分点）；与旧E18同一研究家族；咨询任务仅作背景，不是软件维护或财报直接证据；正式发表不是首次公开
- [AI参与修复PR的接收与未合并原因（v1）](https://arxiv.org/html/2602.00164v1)；所引用版本公开2026-01-29；阅读2026-10-16；状态active；§2.1–2.3；表1；§3.2 R1/R2例子；样本非随机分配代理；65%分母含开放PR；未合并不全是技术失败
- [SWE-Bench Pro V2协议修订](https://labs.scale.com/leaderboard/swe_bench_pro_public_v2?tab=full)；所引用版本公开2026-09-22；阅读2026-10-16；状态active；Update September 22, 2026，任务筛选与隔离重新评分；发布方自述修订，本轮未独立复跑；V1/V2分母与协议不同
- [Harness²：用执行对照改进运行方法](https://arxiv.org/html/2610.14224v1)；所引用版本公开2026-10-09；阅读2026-10-19；状态active；§2.1–2.3；§3.1；§4；作者研究，本站未复现；行为对照不能验证正确性，多次运行和编辑器成本需计入。


## C03 完成熟悉项目中的维护任务
输入：长期维护者选定的缺陷、功能或重构
交付：符合团队标准的可审阅PR
人负责：记录准备、提示、核对、返工与接管的活动人时；机器运行、等待与历时另记，重叠活动不重复累计
证据适配：真实工作RCT，但仅代表参加研究的仓库、人群和当时工具
验收：质量相当再比较耗时；全部尝试/未完成记录；区分并行等待与人时

### 公开 2025-07-10 熟悉大仓库的开发者反而更慢
证据类型：反例 / 测量受限；方式：人机协作
当前引用状态：BC06 active · 当前可引用（不等于现场验证）。
16名开发者完成246个自己项目的真实任务，允许AI时耗时增加19%（区间+2%至+39%）。
AI参与动作：辅助编码、查找与迭代；在这批真实维护任务中，净耗时增加19%。
配置：2025年2–6月，主要Cursor Pro+Claude3.5/3.7；熟悉仓库、真实PR质量要求
指标：相近质量下的任务耗时变化
事件/运行：2025年2–6月；仅月粒度，不表示每天都在观测
日期依据：按该条支持材料的公开日期进入时间轴；不是实验统一发生日
意义：评审与返工可能吃掉编码收益；是否采用需记录全程人时。
比较：任务/配置或指标不同，不计算统一增长率
限制：不是所有软件工作的普遍结论；不能与2022 HTTP server实验相减。
- [METR早期2025开发效率RCT](https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/)：Methodology；Core Result；FAQ；公开2025-07-10；当前状态 active · 当前可引用（不等于现场验证）；16位熟悉所维护仓库的开发者/246任务；不代表所有程序员

### 公开 2026-02-24 后续看似加速，研究方认为测量仍不可靠
证据类型：反例 / 测量受限；方式：人机协作
当前引用状态：BC07 active · 当前可引用（不等于现场验证）。
后续57名开发者/800多任务；旧参与者点估计耗时−18%，新参与者−4%，两个区间均跨过零。
AI参与动作：后续工具继续辅助维护；因样本选择和并行计时，当前净收益大小未可靠确定。
配置：2025年8月起；参与选择、报酬变化与并行计时影响结果
指标：后续耗时点估计；仅弱证据
事件/运行：2025-08起的后续研究
日期依据：按该条支持材料的公开日期进入时间轴；不是实验统一发生日
意义：工具和工作方式有变化，真实净人时趋势仍需新的研究设计。
比较：任务/配置或指标不同，不计算统一增长率
限制：研究方明确认为该数据不能可靠衡量当前增益大小；不画收益增长线。
- [METR后续研究设计修正](https://metr.org/blog/2026-02-24-uplift-update/)：首段及Wider adoption/Details of the productivity study；公开2026-02-24；当前状态 active · 当前可引用（不等于现场验证）；选择、支付和并行计时问题导致结果仅弱证据；不能据此计算可靠趋势

### 公开 2026-02-27 不同开发情境出现任务数收益
证据类型：工作实验；方式：人机协作
当前引用状态：FS071 active · 当前可引用（不等于现场验证）。
三项企业现场实验合计4,867名开发者；随机提供代码补全工具的合并估计为完成任务数增加26.08%（标准误10.3%，表示估计的不确定性）。
AI参与动作：代码补全辅助日常开发；这批研究记录任务数，未提供本任务完整净人时。
配置：Microsoft、Accenture及匿名大型企业；工具访问随机分配，三项结果有噪声和差异
指标：完成任务数变化，不能改写为耗时下降
事件/运行：精确日期未披露
日期依据：按所引用固定版本的公开日进入；不是首次发现或运行日
意义：与熟悉仓库的耗时实验并列，提示选择本团队任务并测审查返工。
比较：只解释这一来源/任务/配置；不与其他题集连成增长曲线
限制：相近开发情境，不是C03同任务重测；质量、利润与全流程人时不能由摘要推出。
- [开发者三项现场实验（正式期刊版本）](https://pubsonline.informs.org/doi/10.1287/mnsc.2025.00535)：Abstract；Article Information / Published Online；Microsoft Research对应记录；公开2026-02-27；当前状态 active · 当前可引用（不等于现场验证）；复用现站FS071同一研究；4,867开发者，完成任务数指标，不是耗时/质量；正式版本日不是首次披露日

## 术语速查
仓库 / issue / PR：仓库是项目代码集合；issue是待解决的问题单；PR是送给人审查的代码变更，draft PR是其草稿。
HTTP server：接收网络请求并返回响应的小程序；此处实验任务规定了规格和测试。
BM25 / oracle：BM25按关键词找文件；oracle用参考修复指定相关文件，代表理想检索条件。
Agent框架 / token：框架组织模型、工具与运行步骤；token是模型处理的文字片段，13k约为1.3万片段。
技术栈 / 反例：技术栈指语言、框架等组成；反例是可执行输入，显示新旧程序行为不一致。

## 方法与材料
覆盖的含义：在指定输入、环境和验收下，材料支持AI参与哪些动作；未知比例保持null。
速度的含义：证据节点之间的日历间隔、流程交接变化；指标/样本/预算不一致时，不计算能力增长率或外推一年三年。
综述用于发现任务和原始文献；每条公开主张引用原始论文/官方记录。转载及同一文献家族不累计成独立验证。
目的性选择三个领域的代表任务，不是穷尽检索或无偏职业采样；基础时间轴于2026-10-14核对，本次精选补充与证据截止2026-10-15，固定论文优先，不把动态榜排名倒填历史。
- [SWE-bench首稿](https://arxiv.org/html/2310.06770v1)；公开2023-10-10；阅读2026-10-14；当前状态 active · 当前可引用（不等于现场验证）；§2任务；§4/表4–5 BM25与oracle条件；1.96%是Claude2+BM25结果，oracle条件4.8%；不选择性把前者说成最高能力
- [METR早期2025开发效率RCT](https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/)；公开2025-07-10；阅读2026-10-14；当前状态 active · 当前可引用（不等于现场验证）；Methodology；Core Result；FAQ；16位熟悉所维护仓库的开发者/246任务；不代表所有程序员
- [METR后续研究设计修正](https://metr.org/blog/2026-02-24-uplift-update/)；公开2026-02-24；阅读2026-10-14；当前状态 active · 当前可引用（不等于现场验证）；首段及Wider adoption/Details of the productivity study；选择、支付和并行计时问题导致结果仅弱证据；不能据此计算可靠趋势
- [SWE-bench Verified测量审计](https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/)；公开2026-02-23；阅读2026-10-14；当前状态 active · 当前可引用（不等于现场验证）；Background；Too narrow and too wide tests；Contamination；59.4%针对138道困难审计题，不是全部500题；发布方审计
- [SWE Refactor Bench首稿](https://arxiv.org/html/2608.23564v1)；公开2026-08-24；阅读2026-10-14；当前状态 active · 当前可引用（不等于现场验证）；§2.2任务预算；§3.1指标；§3.2/表2；28/520为8模型26配置混合运行结果，不是单一模型通用通过率
- [开发者三项现场实验（正式期刊版本）](https://pubsonline.informs.org/doi/10.1287/mnsc.2025.00535)；公开2026-02-27；阅读2026-10-15；当前状态 active · 当前可引用（不等于现场验证）；Abstract；Article Information / Published Online；Microsoft Research对应记录；复用现站FS071同一研究；4,867开发者，完成任务数指标，不是耗时/质量；正式版本日不是首次披露日
- [咨询工作的锯齿边界（正式期刊版本）](https://pubsonline.informs.org/doi/10.1287/orsc.2025.21838)；公开2026-03-11；阅读2026-10-15；当前状态 active · 当前可引用（不等于现场验证）；Published Online；Abstract；§4.2 Figure 5/Table 7；§6 Discussion（19个百分点）；与旧E18同一研究家族；咨询任务仅作背景，不是软件维护或财报直接证据；正式发表不是首次公开
- [SWE-Bench Pro V2协议修订](https://labs.scale.com/leaderboard/swe_bench_pro_public_v2?tab=full)；公开2026-09-22；阅读2026-10-16；当前状态 active · 当前可引用（不等于现场验证）；Update September 22, 2026，任务筛选与隔离重新评分；发布方自述修订，本轮未独立复跑；V1/V2分母与协议不同
- [AI参与修复PR的接收与未合并原因（v1）](https://arxiv.org/html/2602.00164v1)；公开2026-01-29；阅读2026-10-16；当前状态 active · 当前可引用（不等于现场验证）；§2.1–2.3；表1；§3.2 R1/R2例子；样本非随机分配代理；65%分母含开放PR；未合并不全是技术失败
- [Harness²：用执行对照改进运行方法](https://arxiv.org/html/2610.14224v1)；公开2026-10-09；阅读2026-10-19；当前状态 active · 当前可引用（不等于现场验证）；§2.1–2.3；§3.1；§4；作者研究，本站未复现；行为对照不能验证正确性，多次运行和编辑器成本需计入。