# 自动研发：可执行反馈支持哪些局部优化

前沿版本：2026-10-16.1；进展：ADV11
事实范围：2026-10-12；各研究的首发与修订日期见下方时间线
阶段：研究验证至受控试点：封闭程序目标与任务指导已有局部实验，完整研究闭环没有广泛稳定部署证据。
状态：active


## 概念与例子：自动研发的反馈闭环怎样工作

自动研发让系统提出候选方案、运行实验、读取反馈并继续改进。明确且可执行的评价器容易支撑局部优化；研究问题是否重要、实验是否有效则需要额外判断。

一个优化器可以寻找更少运算次数的算法，但如果评分只奖励短输出，它也可能学会绕过任务。先检验评价器，再谈模型是否能够自主改进。

- 进化搜索：保留较好的候选，并通过修改和组合继续搜索。
- 评价器：对候选结果按明确规则判定质量的程序或人。
- 外部复现：由不同团队用独立材料重复获得结果。
- 矩阵乘法构造：寻找计算同一个矩阵结果、但乘法次数更少的精确方案。
- 时间跨度：按人类专家预计耗时拟合任务成功概率的统计口径；不是Agent连续运行的时间。

## 具体进展

### AlphaEvolve在可计算目标上找候选

AlphaEvolve把模型生成的候选代码接入程序评估器和进化搜索，保留表现较好的候选再继续改进。在两个4行4列矩阵相乘的问题上，找到48次复数标量乘法的精确构造，既有Strassen构造需49次。[AlphaEvolve 论文](https://arxiv.org/html/2506.13131v1)

这是计算同一结果时减少复数乘法次数的算法结果，不是48次实数乘法、不证明全局最优，也不等于现代硬件运行一定更快。历史候选代码与评分被带入后续提示，这才是论文具体展示的迭代反馈方式。[AlphaEvolve 论文](https://arxiv.org/html/2506.13131v1)

既有研究报告的事实摘要与条件说明；具体引用在正文标注
对应材料：[AlphaEvolve 论文](https://arxiv.org/html/2506.13131v1)

### METR评估局部研发与完整研发的差距

METR评估的是Claude Opus 5.5，与Fable 5.1比较；在获得API访问的10个工作日窗口内使用5项任务，包括受限训练优化、编程玩游戏和开放研究报告。结论是渐进改善，部分工作可能加速，但完整自动化AI研发仍不太可能。没有公开的分项成绩继续未知。[METR 评估与方法](https://metr.org/blog/2026-09-22-claude-opus-5-5/)

另一个团队对内部研发能力进展加速的初步估计约1.5倍，细节和期间未公开；它不是已经识别的劳动生产率或因果效应，不能推算研发人员减少比例。[METR 评估与方法](https://metr.org/blog/2026-09-22-claude-opus-5-5/)

原研究事实摘要，原始配置与适用范围沿引用材料核对。
对应材料：[METR 评估与方法](https://metr.org/blog/2026-09-22-claude-opus-5-5/)

### 任务时间跨度不是Agent连续运行时长

METR Time Horizon主要使用软件工程、机器学习、网络安全的自包含任务，按人类专家预计耗时拟合模型成功概率，常报告50%与80%可靠性口径。教学例子：若50%时间跨度为2小时，意思是在这类人类约需2小时的任务上，拟合成功概率约50%，不是Agent持续运行2小时；这不是本页新增实测数字。[Time Horizon方法](https://metr.org/time-horizons/)

当前套件对超过16小时的估计不可靠；陌生任务泛化、创建有效反馈、恢复错误和现实授权仍需另查。原页面2026-09-08最后更新并说明停止持续更新，使用其图表要保留这个状态。[Time Horizon方法](https://metr.org/time-horizons/)

原研究事实摘要，原始配置与适用范围沿引用材料核对。
对应材料：[Time Horizon方法](https://metr.org/time-horizons/)

## 时间线

- 2025-06-16（预印本首稿 / 日期）：AlphaEvolve论文首次提交。
  日期依据：arXiv v1；不是实验日
- 2026-09-08（页面最后更新 / 日期）：Time Horizon页面最后更新，并说明停止持续更新。
  日期依据：Updates；不是研究首发日
- 2026-09-22（论文/项目页面发布 / 日期）：METR 评估与方法的原始发布记录；不代表实验在该日完成
  日期依据：原始页面元数据 citation_date
- 2026-10-12（研究材料范围 / 资料截止）：这份研究摘要的资料范围，不是上述事件统一发生的日期。
  日期依据：原研究报告事实范围

## 工作意义

工作分析（编辑推断）：可执行评估器能帮助反复搜索程序方案，但问题是否值得研究、评估是否测对目标仍由研究者确认。复用历史候选或失败经验时，应冻结最终留出任务、记录提示版本，并能回退错误改动；这不是AlphaEvolve论文测出的金融案例。

自动研发的局部提速与完整交付是不同目标。先选能自动检查的窄实验，记录失败、人工接管与可复现产物，再讨论扩大自主范围。

### 后续观察

基准情景是自动优化器在可计算目标、软件和实验流程片段上更强，科学选题、因果解释、反例搜索与外部复现仍由研究者把关。若第三方开展前瞻性实验，预注册目标和留出集，报告总成本、研究者工时、可复现产出与失败案例，并在多个课题组复现，能力与转化速度才可上调；观察 METR 后续可披露评测、自动实验闭环及独立研发团队的实际产出质量。

## 证明材料

### AlphaEvolve: A coding agent for scientific and algorithmic discovery

[AlphaEvolve 论文](https://arxiv.org/html/2506.13131v1)；类别：研究预印本；状态：active
支持：程序反馈与48次复数标量乘法结果；不支持金融指导蒸馏或现场收益。
定位：§2.1/§2.3（生成与评估配置）；§2.2/§2.5（提示/进化）；§3.1表2、附录表3（复数构造）。
按模型、任务与测量定义核对；不要将反馈搜索或概率时间跨度当整项研发完成率。
原始发布：2025-06-16；修订：未提取；arXiv v1首次提交记录
继承既有报告审查范围；导入未重跑或重新核验全部原始来源。文献家族未知，不计独立实验数。
2026-10-14书目信息，非实验复验。

### Summary of METR's predeployment evaluation of Claude Opus 5.5

[METR 评估与方法](https://metr.org/blog/2026-09-22-claude-opus-5-5/)；类别：原始研究或机构项目说明；状态：active
支持：指定模型与5项任务窗口、渐进改善及内部进展加速估计的限定。
定位：Summary of evidence；Conclusions (A)/(B)。
按模型、任务与测量定义核对；不要将反馈搜索或概率时间跨度当整项研发完成率。
原始发布：2026-09-22；修订：未提取；原始页面元数据 citation_date
继承既有报告审查范围；导入未重跑或重新核验全部原始来源。文献家族未知，不计独立实验数。
2026-10-14书目信息，非实验复验。

### Task-Completion Time Horizons of Frontier AI Models

[Time Horizon方法](https://metr.org/time-horizons/)；类别：原始研究或机构项目说明；状态：active
支持：时间跨度的统计定义、当前任务套件限制与停止持续更新状态。
定位：Methodological Details、对应50%/80%与16小时的FAQ、Updates。
按模型、任务与测量定义核对；不要将反馈搜索或概率时间跨度当整项研发完成率。
原始发布：未知；修订：未提取；原页面未提取到可靠发布日期，保持未知
继承指定研究的核验与配置范围，本次未重新复跑原始实验；文献独立家族未知。
2026-10-14书目信息，非实验复验。

本页整理：2026-10-14；事实范围：2026-10-12。概念解释与既有研究展开；元数据访问不是原始实验复验。

## 变化与限制
AlphaEvolve找到4×4矩阵乘法的48次复数乘法构造；METR另测局部研发任务。明确反馈能支持算法搜索，完整研发判断和复现仍有缺口。
指定研究的编辑判断，未对本站任务做新的完整现场验证。
来源→机制→任务适配，不分配来源分数给任务。

## 原子影响
- DATA-21835-A3（adjacent）：可计算目标已有局部优化，选题、反例和外部复现不由优化分数代替。
  相邻机制参考，不证明本原子通过；需实际输入、权限、独立验收和恢复。
  /atoms/DATA-21835-A3.md

网页不授予业务权限，相邻研究不证明当前任务通过，未知保持未知。