# 写完代码，离完成软件交付还有多远？

版本 2026-10-24.studies.5；中型B2B Web应用的中高级全栈IC工程师；既有仓库上新增含6页面、约10个API、租户权限、外部事件与一项LLM/检索API能力的合成工作包；包含测试、部署、运行与交接，不训练基础模型。

从一个“导出当前租户订单”的按钮开始：前端、API、权限、完整分页和失败恢复要一起成立。再看公开研究为何给出不同结果，以及成熟库和SaaS到底改变了哪部分工作。

AI与成熟库都能改变实施方式。真正需要比较的是同一业务验收下，哪些工作被替代、哪些责任保留、又增加了多少集成与维护；代码生成速度本身回答不了这些问题。

## 导出文件有了，为什么仍可能交付失败？

同一份CSV-1合同要求：只包含当前租户，跨页不漏不重，逗号与引号能正确重读，中断工件不能被当作完成发布。两条技术路线都必须通过这些条件。

作者构造的设计材料与预期控制，未运行AI、真实服务或性能实验；用于说明验收关系。

### 先定合同：现有库和托管路线，都接收同一份业务要求。

我们要接收什么结果，当前系统已经具备什么能力？

原工作：工程师确认用户身份、数据快照、排序、分页、CSV格式及中断后的状态，再比较实现路线。

AI参与：AI可以整理仓库事实、提出成熟CSV库或选择性托管方案，并列出条件、依赖和验收缺口。

需要核查：已有框架与数据库能力不能重复算新增收益；业务授权、费用、配额、恢复和退出方式仍要说清。

产物：CSV-1 共同合同与路线候选

验收：租户隔离、完整性、资源边界与恢复条件不因技术路线改变。

### 实现行为：“能查出数据”还不等于“只能导出该用户的数据”。

如何把合同落实到前端、API和数据访问？

原工作：工程师把服务端身份绑定到查询，维护稳定游标，逐页编码，并处理失败状态。

AI参与：AI可以产生实现候选：服务端绑定tenant-a，按唯一ID续读，流式CSV转义；日志记录已确认检查点。

需要核查：检查越权、跨页漏重和实际资源；丢掉整个临时文件就必须从起点重建，保留确认前缀才可按游标追加。

产物：候选设计、正确CSV与恢复约定

验收：固定夹具应输出ID1/3/4/5各一次，不输出ID2；5条夹具不能证明大规模性能。

### 检验接收：验收既要挡住错误，也要接受合理替代。

这套测试究竟能识别哪些失败？

原工作：工程师准备参考结果、合法替代和错误工件，按业务内容检查，而不只看文件存在或测试数。

AI参与：AI可以生成和执行控制候选，帮助定位跨租户泄露、末页丢失、重复行、转义错误、半成品发布和无界缓存。

需要核查：控制的预期行为本身也要核验。本报告列出了材料和预期，没有把它们登记为实际通过。

产物：正例、替代、六类错误及逐控制预期

验收：正确与合理替代应接收，六类错误应分别拒收并指出违反的合同条目。

## 整份工作

### 弄清要改变什么

理解需求、仓库、架构与数据边界。

SE01 需求与工程验收；SE02 仓库理解与本地复现；SE03 架构与技术依赖选型；SE04 数据模型与迁移

### 让用户真正用得上

界面、交互、可访问性共同构成前端交付。

SE07 前端组件与响应式布局；SE08 前端交互与状态管理；SE09 无障碍与兼容验证

### 让系统行为成立

API、租户隔离、外部集成和AI功能。

SE05 后端API与业务逻辑；SE06 鉴权与租户隔离；SE10 前后端及第三方集成；SE19 AI功能与评测接入

### 证明变更能被接收

测试、端到端验收、性能、安全和缺陷处理。

SE11 单元与契约测试；SE12 端到端与发布验收；SE13 性能与容量；SE14 安全与依赖检查；SE18 缺陷诊断与回归

### 上线之后继续运行

持续集成、部署、观测和维护交接。

SE15 CI与环境自动化；SE16 部署与数据发布；SE17 观测告警与运行手册；SE20 文档交接与工程维护

## 外部研究为何得到不同结果

任务耗时、任务产量和合并PR吞吐分别解释，不合并为通用节时率。

### Copilot RCT：JavaScript HTTP server

完成者条件的任务完成时间变化：-55.8%；95%置信区间：-89%–-21%

样本：95名开发者随机分派：45人处理组、50人对照组；任务完成率由作者总结报告为78%/70%。时长分析各组有效n未单列。

研究条件：2022年单项JavaScript HTTP server任务；完成者平均时间为处理组71.17分钟、对照组160.89分钟；提交通过12项测试计为完成；处理组可用GitHub Copilot。

设计：随机分派；时间结果仅比较完成任务者，论文另提35人完成任务及问卷，但未说明其与时长比较分母的对应关系。

限制：时间缩短的负号及区间端点按统一变化方向翻转。GitHub作者总结是同一实验的交叉核对，不是独立复现；不能由完成率或35人表述倒推时长有效n，也不能迁移为复杂仓库或当前Agent的本地节时。

[GitHub Copilot受控编程任务实验](https://arxiv.org/abs/2302.06590)

[GitHub作者对Copilot开发者生产率实验的官方总结](https://github.blog/news-insights/research/research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/)

### METR RCT：开发者熟悉的开源仓库

issue完成时间变化：19%；95%置信区间：2%–39%

样本：16名熟悉各自大型开源仓库的开发者，提交246个真实issue；仓库平均约22k星及100万行代码。

研究条件：早期2025年的bug修复、功能和重构；参与者此前多年贡献于相关仓库。

设计：issue级随机允许/禁止使用AI；主要使用Cursor Pro与Claude 3.5/3.7 Sonnet，记录屏幕并由参与者自报实现时间。

限制：招募的开发者和仓库不是随机行业样本，工具属于早期2025版本；结果只适用于该样本与任务条件。METR 2026更新提供此结果的95%区间，不是后续研究的最新效果估计。

[METR早期2025开发者实验](https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/)

[METR实验设计更新](https://metr.org/blog/2026-02-24-uplift-update/)

### 三企业Copilot现场实验：已完成任务

completed-task指标变化：26.08%；±1标准误（不是置信区间）：15.78%–36.38%

样本：Microsoft、Accenture及一家匿名Fortune 100公司共4,867名开发者。

研究条件：企业日常工作中的AI代码补全；结果是completed tasks数量，不是个人主动工时。

设计：三项企业随机现场试验合并估计；随机提供AI代码补全工具。区间端点为26.08% ± 10.3个百分点（1个标准误）派生。

限制：图中端点仅表示估计值±1 SE，不能标作95%置信区间。站点效果存在差异；任务数不等于时间节省、质量或净成本，代码补全也不等同于CLI Agent。

[三家公司生成式AI开发者现场实验](https://www.microsoft.com/en-us/research/publication/the-effects-of-generative-ai-on-high-skilled-work-evidence-from-three-field-experiments-with-software-developers/)

### Microsoft CLI Agent研究：合并PR吞吐

每位活跃采用者工程师每日合并PR变化：24%；95%可信区间：14.5%–33.7%

样本：研究覆盖Microsoft数万工程师；估计队列为2026-01-05至11日启动采用的CLI Agent用户，并限于上线前4周至少合并2个PR的活跃人员。

研究条件：Microsoft早期2026年Claude Code与GitHub Copilot CLI推广；指标为28天内完成合并的PR数/工程师/日。

设计：非随机采用；BSTS/CausalImpact以从未用两种工具的PR作者构造合成对照，报告115天后测期的后验平均变化。

限制：研究设计报告95%可信区间；单一公司且筛选活跃PR作者，合成对照不能吸收采用者特有冲击。PR数量是产出代理，不代表质量、价值、人时或本地可复制效果。

[Microsoft早期CLI编码Agent推广研究](https://arxiv.org/abs/2607.01418)

## 服务替代为什么不等于净人工差额

范围为全部20任务、108小时合成工作包。保持同Harness：原人工52.8小时；其余人工活动减少5.9小时，增加集成3小时及维护增量0.5小时，形成允许复用后的人工50.4小时。服务替代16.8小时为基线等效工作，不能当作同量净人工节省。

额外人工敏感性可在网页调整；条件持平点约2.41小时，未回写原始账本。

### 现有框架内强化成熟库与确定性验证

棕地首选低风险增强方向：只复用稳定窄接口，避免框架迁移和重复计算既有能力；官方工具机制不量化节时。

替代：重复协议/schema/type/组件与验证基础设施的自建实现

保留：业务规则、授权、迁移回填、异常流程、部署和代码审查

新增：兼容/许可证/供应链/升级、测试维护、生成物管理

退出：按依赖边界替换并保留应用自有数据/接口/测试；迁移重写量需按具体库核验

### 保留现有数据库的选择性托管组合

棕地渐进式首选候选：适合保护已有资产，只围绕实际瓶颈引入一项服务；整体收益依具体组合。

替代：目标边界的一部分自建连接/部署/身份协议

保留：既有DB维护、授权、数据、跨供应商网络与故障定位

新增：多平台账号/监控/密钥及适配器复杂度

退出：保留旧权威数据和回退窗口；移除双写、复制、令牌和服务前做一致性/撤销演练

## 同一范围的条件预算

合成基线108小时；实际人时与成功率未知。

- 人工工程基线：人工预算108小时；独立执行D/B 0%。在既有批准框架和工具中完成相同交付，不用生成式AI。

- 当前AI助手：人工预算82.8小时；独立执行D/B 20.8%。同一参考模型；人准备上下文、搬运输出和逐项验收。

- 同模型工具Agent：人工预算66.3小时；独立执行D/B 37.2%。同模型和预算上限，可连续读写测试环境；正式发布批准不自动授权。

- 验证型Harness：人工预算52.8小时；独立执行D/B 51.8%。Agent加确定性断言、检查点、独立回归与失败恢复。

- 更强模型假设：人工预算40.4小时；独立执行D/B 65%。只增强模型，保持验证型Harness及相同预算/权限。

- 更强Harness假设：人工预算41.4小时；独立执行D/B 62.8%。保持参考模型，增强独立验证器、状态同步与恢复。

- 近期受控RSI假设：人工预算28.5小时；独立执行D/B 76.3%。强模型与强Harness并用；只应用独立留出验证后的改进，机器循环不记人时。

- 当前AI＋开放库/SaaS：人工预算50.4小时；独立执行D/B 42.6%。沿用harness的模型和验证，允许所有适用且获准的现代库/组件/托管服务，独立核算替代量与集成。

- 五年期强RSI假设：人工预算11.3小时；独立执行D/B 78.2%。2031年及以后充分自迭代成立的思想实验：强AI在获准范围自改工具与验证；真人意愿与未知世界结果不凭空获得。

压力组合同时改变独立执行、服务替代、审阅与返工参数；不是概率区间或置信区间。

2031+充分RSI是思想实验前提，不是实现日期或概率预测。

## 路线应沿着瓶颈选择，收益要回到完整交付核对。

在既有仓库，先保留已批准的栈，再按权限、数据、延迟或集成瓶颈选库与单项服务。真正改变决策的，是同范围质量、失败恢复、维护和完整人时的新证据。

完整任务、外部研究、路线、参数和案例：/studies/ai-software-engineer?view=evidence&version=2026-10-24.studies.5