# C03 熟悉项目维护：先看完整交付，再看生成速度：试点准备材料

模块 2026-10-19.boundary.1；方法整理 2026-10-19
证据状态 active；实际覆盖比例未知（null）
这是准备模板，不启动执行。

补全新代码和改熟悉仓库，是两种任务。AI生成得快，不代表你连同核对和返工也更快。
适配：相近软件工作实验支持试点设计，不能给这个仓库承诺收益。先限定一个可回滚问题。

## 交接与验收
1. 定义问题（人决定）：选择一个可回滚修复，列出原行为与不能改变的行为。
   产物：任务说明与验收用例
   门槛：问题范围、权限与回归门槛先明确
   编辑安排：本步骤是本站为交付和接收提出的组织安排；没有本地逐步成功率。
   - 背景/方法：重复解决会影响PR接收；提醒先核对问题状态，不证明本项目效果；https://arxiv.org/html/2602.00164v1；§3.2 R1
2. 定位并草拟改动（AI草拟）：在给定文件与日志中提出原因和最小补丁；不自行扩展改造。
   产物：定位依据与待审补丁
   门槛：每处改动能回到问题和依据
   编辑安排：本步骤是本站为交付和接收提出的组织安排；没有本地逐步成功率。
   - 背景/方法：相邻方法启示，未验证本站案例；原有现场研究及其条件保留。；https://arxiv.org/html/2610.14224v1；§2.1–2.3；§3.1；§4
3. 检查行为（程序执行）：运行现有测试和针对问题的回归检查，记录失败而非只留成功输出。
   产物：检查记录与全部尝试
   门槛：修复目标通过、原有行为未退化
   编辑安排：本步骤是本站为交付和接收提出的组织安排；没有本地逐步成功率。
   - 适用条件：评测修订说明独立验证和环境会改变判断；用于设计回归条件；https://labs.scale.com/leaderboard/swe_bench_pro_public_v2?tab=full；9月22日更新说明
4. 审查与接收（人核验）：核对遗漏行为、错误路径与回滚，再决定是否合并。
   产物：审查决定与人时记录
   门槛：审查、返工、等待和接管都有记录
   编辑安排：本步骤是本站为交付和接收提出的组织安排；没有本地逐步成功率。
   - 背景/方法：接收还受协作与优先级影响，不能仅看生成；https://arxiv.org/html/2602.00164v1；§3.2；表1

## 人工构造、未执行AI任务的产物格式
【人工构造，未执行AI任务】
问题：输入为空列表时应返回空列表，不应崩溃。
保持：非空输入的原输出、错误输入的原错误语义。
产物：待审补丁 + 空/非空/错误输入回归记录 + 未覆盖行为。
审查决定：____；回滚入口：____。
提示/查找人时：____；审查：____；返工：____。
这是一份格式示例，没有代码改动、真实仓库或完成成绩。

## 失败与接管
- 补丁通过新增用例，却改变了错误路径：局部通过没有覆盖全部原行为。补错误路径回归；无法核对时回滚并由人接管
- 生成很快，但审查和返工更久：只看生成时长漏掉了人参与成本。记录全部人时，按同质量比较；允许净收益为负
- 额外检查与返工抵消生成收益：局部结果不足以证明完整交付合格。保留完整人时及原始依据，停止扩大委派并由人复核

## 限定试点
范围：一个熟悉仓库中可回滚的维护问题；不要直接扩大到整仓改造
基线：保存原工作量/质量门槛下的人独立流程；一次任务不能估计通用收益
验收：
- 目标问题和保持行为分别通过
- 保留全部尝试、审查/返工/接管记录
- 只在同工作量同质量下比较人时
分别记录人时：活动人时：准备与查找；活动人时：提示与交互；活动人时：人工审查；活动人时：返工；活动人时：接管与维护；另记：机器运行、等待及端到端历时；重叠活动不重复累计；若等待占用本人，注明计量约定
停止：行为未能核对、范围扩大或人参与成本持续上升时，暂停委派并接管

## 回执（实际发生后再填）
任务/版本/资料与环境：____
已授权范围与工具配置：____
实际输入/产物路径：____
全部尝试与逐项验收：____
最终接收/拒绝与接管：____
基线/准备/核验/返工人时：____
未知与未验证项：____
未经实际执行和逐项验收，状态保持未验证；默认本地保存，不上传。

## 条件比较
- 熟悉开源仓库（相近任务）：真实维护问题；16开发者、246任务
  设置：主要Cursor+Claude3.5/3.7，2025早期
  任务耗时：耗时增加19%，95%区间+2%至+39%
  限制：小而专门人群；不是所有开发者
- 三项企业开发实验（相近任务）：企业日常开发任务；4,867开发者
  设置：随机提供代码补全工具访问
  完成任务数：完成任务数+26.08%；标准误10.3%（SE，表示估计的不确定性）
  限制：不是省时26.08%；三研究异质，质量/利润未由本摘要测得
- METR后续（受限后续）：后续维护任务；10回访/47新招募
  设置：选择、报酬、并行计时改变
  任务耗时，弱证据：耗时−18%/−4%；两个区间跨零
  限制：研究者认为无法可靠估计当前收益
- 咨询任务的越界反例（背景参考）：18项范围内任务及一项范围外管理任务；758知识工作者
  设置：无AI/GPT4/GPT4+说明
  不同任务的时间/正确解指标：范围内更快；范围外正确解概率低约19个百分点
  限制：不是软件维护直接结果；不与上三行平均
- 修复PR的接收过程（相邻真实协作观察）：8106个AI参与修复PR；人工分析326个关闭未合并样本；五类代理所在开源仓库，非随机配对试验
  设置：依据采集时merged/closed/open状态；闭合原因人工编码
  PR状态分布，不是修复正确率或净人时：65.0%已合并；另有26.1%关闭未合并、8.9%开放
  限制：重复解决、优先级和审阅流程也影响未合并；没有测本团队收益
- 运行方法与完整成本（adjacent：方法相邻，不是本任务完成率）：冻结模型下的运行系统改进；作者实验；本站没有参与者或任务复跑
  设置：须分别看执行模型、编辑器、预算与验收
  本页不摘录分数；不与现有现场研究合并：提供过程改进的研究方法，未测本站收益
  限制：相邻方法启示，未验证本站案例；原有现场研究及其条件保留。

## 原始材料
- [METR早期2025开发效率RCT](https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/)；所引用版本公开2025-07-10；阅读2026-10-14；状态active；Methodology；Core Result；FAQ；16位熟悉所维护仓库的开发者/246任务；不代表所有程序员
- [METR后续研究设计修正](https://metr.org/blog/2026-02-24-uplift-update/)；所引用版本公开2026-02-24；阅读2026-10-14；状态active；首段及Wider adoption/Details of the productivity study；选择、支付和并行计时问题导致结果仅弱证据；不能据此计算可靠趋势
- [开发者三项现场实验（正式期刊版本）](https://pubsonline.informs.org/doi/10.1287/mnsc.2025.00535)；所引用版本公开2026-02-27；阅读2026-10-15；状态active；Abstract；Article Information / Published Online；Microsoft Research对应记录；复用现站FS071同一研究；4,867开发者，完成任务数指标，不是耗时/质量；正式版本日不是首次披露日
- [咨询工作的锯齿边界（正式期刊版本）](https://pubsonline.informs.org/doi/10.1287/orsc.2025.21838)；所引用版本公开2026-03-11；阅读2026-10-15；状态active；Published Online；Abstract；§4.2 Figure 5/Table 7；§6 Discussion（19个百分点）；与旧E18同一研究家族；咨询任务仅作背景，不是软件维护或财报直接证据；正式发表不是首次公开
- [AI参与修复PR的接收与未合并原因（v1）](https://arxiv.org/html/2602.00164v1)；所引用版本公开2026-01-29；阅读2026-10-16；状态active；§2.1–2.3；表1；§3.2 R1/R2例子；样本非随机分配代理；65%分母含开放PR；未合并不全是技术失败
- [SWE-Bench Pro V2协议修订](https://labs.scale.com/leaderboard/swe_bench_pro_public_v2?tab=full)；所引用版本公开2026-09-22；阅读2026-10-16；状态active；Update September 22, 2026，任务筛选与隔离重新评分；发布方自述修订，本轮未独立复跑；V1/V2分母与协议不同
- [Harness²：用执行对照改进运行方法](https://arxiv.org/html/2610.14224v1)；所引用版本公开2026-10-09；阅读2026-10-19；状态active；§2.1–2.3；§3.1；§4；作者研究，本站未复现；行为对照不能验证正确性，多次运行和编辑器成本需计入。