METR实验设计更新
作者指出参与和任务选择、多Agent并行计时让后续生产率信号不可靠。
原文位置:官方结果及局限核查;版本 2026-02-24
不能据此推出:不采用不可靠数据给当前效率打统一折扣;本地仍需记录漏记与自选。
核查 2026-10-22 · 所属资料版本 2026-10-24.studies.5 · 来源ID ai-software-engineer--METR26
实际引用在哪里
METR RCT:开发者熟悉的开源仓库 →
issue完成时间变化;保留原样本和区间,不迁移为本地节时
关系:external-result
现有栈 + IDE/CLI协作Agent →
经路线所引用主张间接支持条件和责任;不证明平台净收益
关系:indirect
METR RCT在16名熟悉各自仓库的开发者和246真实issue中随机允许/禁止早期2025 AI,AI条件完成时间估计+19%(95% CI延时2%–39%)。 →
熟悉大型仓库时,提示/审阅/整合可能抵销生成速度
关系:独立非营利研究机构METR
正负效果研究测量对象不同:短任务时长、熟悉仓库RCT时长、企业任务产出和Agent采用者PR吞吐不可平均成一个行业或本项目节时率。 →
按路线记录质量、时间、吞吐、返工、总成本多个指标
关系:多研究比较;微软研究需披露作者/供应商关系
SE20.01 整理开发与接口文档 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE20.02 记录取舍与技术债 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE20.03 演练接手与恢复 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持
SE20.04 确认交接及维护责任 →
机制或任务边界参照,不提供本地任务成绩
关系:部分支持