编辑器开始提供代码建议

Copilot技术预览能在编辑器中建议代码和函数。

配置 / 输入

技术预览、编辑器上下文；开发者选择和修订建议

衡量什么

功能存在；无通用完成率

事件 / 运行

原文未给精确运行日期；上方为材料公开日

对任务意味着

从逐字编写转为接受/修改候选，但完整程序仍需验收。

比较条件

任务/配置或指标不同，不计算统一增长率

限制

发布方功能说明，没有真实项目交付成功率。

受控小程序实验显示耗时减少

95名开发者随机分组，编写JavaScript HTTP server（接收请求并返回响应的小程序）。公告报告完成率78%对70%，平均完成耗时71分钟对161分钟。

配置 / 输入

相同单一任务及自动测试；开发者在AI辅助下完成

衡量什么

公告报告的任务完成耗时约减少55%，另列完成率；不是工作覆盖率或全体尝试人时

事件 / 运行

2022年研究；具体运行日期未披露

对任务意味着

这项规格明确的小程序实验提示辅助潜力，但有未完成者；真实试点需同时记录完成比例与全部人时。

比较条件

任务/配置或指标不同，不计算统一增长率

限制

发布方实验，单一任务。公告未明示均值的完成者处理；不能视为95人全完成或所有尝试的净人时收益。

论文说明：耗时只比较完成者

同一研究的论文明确：只有完成任务者进入71.17分钟对160.89分钟的均值比较，约减少55.8%耗时。

配置 / 输入

同一HTTP server实验；95人随机分组；论文Results说明以完成任务为条件

衡量什么

已完成任务者的平均完成时间；不包括所有未完成尝试的人时

事件 / 运行

2022年同一受控实验的后续论文说明

对任务意味着

把完成率与完成者耗时分开记录；未完成、失败和返工不能从实际工作成本中消失。

比较条件

后出的同实验方法说明；不是又一次能力进步实验

限制

此澄清来自2023公开论文，与2022公告同一实验，不能累计为独立复验或回填为2022已读全文。

对既有解释的补充/修正：保留早期原记录 ↗

已有真实问题集，但检索仍是瓶颈

2294题、12个Python仓库；Claude2+BM25检索13k上下文解决1.96%，oracle文件条件4.8%。

配置 / 输入

固定首稿；BM25在项目代码集合（仓库）中按关键词找文件，13k为约1.3万token输入（模型处理的文字片段）；oracle为参考修复指定相关文件的理想检索条件。

衡量什么

解决指定题目的比例；检索条件分开

事件 / 运行

原文未给精确运行日期；上方为材料公开日

对任务意味着

让AI先写局部补丁已可测量，完整修复当时仍很有限。

比较条件

任务/配置或指标不同，不计算统一增长率

限制

oracle使用参考补丁指示文件，1.96%不应被称为最高可达到能力。

更可信的缺陷修复子集出现

500道人工筛选Verified题；GPT-4o+Agentless报告33.2%解决率。

配置 / 输入

500题Verified子集；gpt-4o-2024-05-13 + Agentless（组织查找和改代码的评测框架）；每框架单一种子，使用最接近文档或默认参数。

衡量什么

该子集测试通过比例

事件 / 运行

原文未给精确运行日期；上方为材料公开日

对任务意味着

开始有更扎实的范围明确缺陷修复证据，但仍需团队自己的验收。

比较条件

任务/配置或指标不同，不计算统一增长率

限制

与2023全2294题和BM25不同；不是从1.96到33.2的同条件曲线。

产品把issue推进到待审PR

Copilot coding agent接收问题单（issue），在环境中修改和测试，提交待审代码变更草稿（draft PR）并等待人审阅。

配置 / 输入

当时GitHub Actions环境、分支规则、日志与人工审查

衡量什么

可用工作流；未提供统一通过率

事件 / 运行

原文未给精确运行日期；上方为材料公开日

对任务意味着

交接单位从代码片段扩为一个待审变更；人负责合并与发布判断。

比较条件

任务/配置或指标不同，不计算统一增长率

限制

产品发布不等于每个issue完成；当前权限配置可能不同于发布时。

旧基准的成绩解释需要收紧

OpenAI审计138道困难Verified题，59.4%存在重大测试/描述问题，并发现部分题训练污染迹象。

配置 / 输入

针对o3多次未一致解决的困难子集；发布方审计

衡量什么

测量有效性；不是模型能力下降

事件 / 运行

原文未给精确运行日期；上方为材料公开日

对任务意味着

保留历史结果，换用新鲜或私有题验收；不要据饱和榜单外推整个工程。

比较条件

任务/配置或指标不同，不计算统一增长率

限制

138题并非随机代表全部500题；反例不否定所有历史补丁。

对既有解释的补充/修正：保留早期原记录 ↗

熟悉大仓库的开发者反而更慢

16名开发者完成246个自己项目的真实任务，允许AI时耗时增加19%（区间+2%至+39%）。

配置 / 输入

2025年2–6月，主要Cursor Pro+Claude3.5/3.7；熟悉仓库、真实PR质量要求

衡量什么

相近质量下的任务耗时变化

事件 / 运行

2025年2–6月；仅月粒度，不表示每天都在观测

对任务意味着

评审与返工可能吃掉编码收益；是否采用需记录全程人时。

比较条件

任务/配置或指标不同，不计算统一增长率

限制

不是所有软件工作的普遍结论；不能与2022 HTTP server实验相减。

后续看似加速，研究方认为测量仍不可靠

后续57名开发者/800多任务；旧参与者点估计耗时−18%，新参与者−4%，两个区间均跨过零。

配置 / 输入

2025年8月起；参与选择、报酬变化与并行计时影响结果

衡量什么

后续耗时点估计；仅弱证据

事件 / 运行

2025-08起的后续研究

对任务意味着

工具和工作方式有变化，真实净人时趋势仍需新的研究设计。

比较条件

任务/配置或指标不同，不计算统一增长率

限制

研究方明确认为该数据不能可靠衡量当前增益大小；不画收益增长线。

对既有解释的补充/修正：保留早期原记录 ↗

不同开发情境出现任务数收益

三项企业现场实验合计4,867名开发者；随机提供代码补全工具的合并估计为完成任务数增加26.08%（标准误10.3%，表示估计的不确定性）。

配置 / 输入

Microsoft、Accenture及匿名大型企业；工具访问随机分配，三项结果有噪声和差异

衡量什么

完成任务数变化，不能改写为耗时下降

事件 / 运行

原文未给精确运行日期；上方为材料公开日

对任务意味着

与熟悉仓库的耗时实验并列，提示选择本团队任务并测审查返工。

比较条件

只解释这一来源/任务/配置；不与其他题集连成增长曲线

限制

相近开发情境，不是C03同任务重测；质量、利润与全流程人时不能由摘要推出。

全仓迁移进入严格多关验收

20任务、8模型/26配置共520运行；340通过迁移审查、118全过固定行为，二者交集88，最终28全关通过。

配置 / 输入

模型：claude-opus-5、claude-sonnet-5、gpt-5.6-luna、gpt-5.6-sol、kimi-k3、qwen3.8-max、dsv4-flash、glm-5.2；GPT两模型用Codex，其余用Claude Code框架。各配置各任务一次，预算6–30小时，无网络（模型端点除外），隐藏验收；末关6个编码Agent各用1小时寻找原程序与新程序的可复现行为差异。

衡量什么

28/520混合运行全关通过；三个集合不能画成逐层340→118漏斗

事件 / 运行

原文未给精确运行日期；上方为材料公开日

对任务意味着

明确迁移与保持行为是两件事，有限测试全过后仍需查反例。

比较条件

任务/配置或指标不同，不计算统一增长率

限制

28/520是混合配置运行结果，不是企业项目或单模型通用通过率；全关通过表示这组验证器未找到反例，不是数学证明所有行为等价。

黑盒重建显示另一种边界

固定首稿评测200个程序重建任务，九个系统没有完整解决任何一题。

配置 / 输入

9模型：Claude Opus4.7、Opus4.6、Sonnet4.6、Haiku4.5，Gemini3.1 Pro、3 Flash，GPT5.4、5.4 mini、5 mini。mini-SWE-agent框架、发布方默认参数、每模型每题一次、最多6小时/1000步；不给项目源码、不联网。

衡量什么

完整隐藏测试全过；不是部分测试率

事件 / 运行

原文未给精确运行日期；上方为材料公开日

对任务意味着

即使会写代码，接口隐藏行为重建仍需大量独立核对。

比较条件

任务/配置或指标不同，不计算统一增长率

限制

这是固定五月快照；不宣称此后所有模型仍为零。