METR早期2025开发者实验
16名熟悉仓库的开发者、246问题;允许早期2025工具时完成任务增加19%时间。
原文位置:METR官方原研究博客正文:RCT设计与+19%核心结果;95% CI由METR26官方更新另行支持。;版本 2025-07-10
不能据此推出:特定历史样本,不代表当前所有全栈开发;说明能力基准与真实净时间需要分开。
核查 2026-10-22 · 所属资料版本 2026-10-24.studies.5 · 来源ID ai-software-engineer--METR25
实际引用在哪里
METR RCT:开发者熟悉的开源仓库 →
issue完成时间变化;保留原样本和区间,不迁移为本地节时
关系:external-result
现有栈 + IDE/CLI协作Agent →
经路线所引用主张间接支持条件和责任;不证明平台净收益
关系:indirect
METR RCT在16名熟悉各自仓库的开发者和246真实issue中随机允许/禁止早期2025 AI,AI条件完成时间估计+19%(95% CI延时2%–39%)。 →
熟悉大型仓库时,提示/审阅/整合可能抵销生成速度
关系:独立非营利研究机构METR
正负效果研究测量对象不同:短任务时长、熟悉仓库RCT时长、企业任务产出和Agent采用者PR吞吐不可平均成一个行业或本项目节时率。 →
按路线记录质量、时间、吞吐、返工、总成本多个指标
关系:多研究比较;微软研究需披露作者/供应商关系