W.AI工作标准面向个人与企业给我的 Agent
公开证据与条件建议;未测结果保留未知。方法与局限 →

能力变化

自动研发:可执行反馈支持哪些局部优化

AlphaEvolve在可计算目标上取得局部算法结果,研发能力评估和时间跨度方法则说明完整自主研究仍有不同门槛。

整理 2026-10-14 · 原研究范围 2026-10-12

先理解研究对象

自动研发的反馈闭环怎样工作

自动研发让系统提出候选方案、运行实验、读取反馈并继续改进。明确且可执行的评价器容易支撑局部优化;研究问题是否重要、实验是否有效则需要额外判断。

一个优化器可以寻找更少运算次数的算法,但如果评分只奖励短输出,它也可能学会绕过任务。先检验评价器,再谈模型是否能够自主改进。

进化搜索
保留较好的候选,并通过修改和组合继续搜索。
评价器
对候选结果按明确规则判定质量的程序或人。
外部复现
由不同团队用独立材料重复获得结果。
矩阵乘法构造
寻找计算同一个矩阵结果、但乘法次数更少的精确方案。
时间跨度
按人类专家预计耗时拟合任务成功概率的统计口径;不是Agent连续运行的时间。

具体发生了哪些进展

AlphaEvolve在可计算目标上找候选

AlphaEvolve把模型生成的候选代码接入程序评估器和进化搜索,保留表现较好的候选再继续改进。在两个4行4列矩阵相乘的问题上,找到48次复数标量乘法的精确构造,既有Strassen构造需49次。[1]

这是计算同一结果时减少复数乘法次数的算法结果,不是48次实数乘法、不证明全局最优,也不等于现代硬件运行一定更快。历史候选代码与评分被带入后续提示,这才是论文具体展示的迭代反馈方式。[1]

既有研究报告的事实摘要与条件说明;具体引用在正文标注

METR评估局部研发与完整研发的差距

METR评估的是Claude Opus 5.5,与Fable 5.1比较;在获得API访问的10个工作日窗口内使用5项任务,包括受限训练优化、编程玩游戏和开放研究报告。结论是渐进改善,部分工作可能加速,但完整自动化AI研发仍不太可能。没有公开的分项成绩继续未知。[2]

另一个团队对内部研发能力进展加速的初步估计约1.5倍,细节和期间未公开;它不是已经识别的劳动生产率或因果效应,不能推算研发人员减少比例。[2]

原研究事实摘要,原始配置与适用范围沿引用材料核对。

任务时间跨度不是Agent连续运行时长

METR Time Horizon主要使用软件工程、机器学习、网络安全的自包含任务,按人类专家预计耗时拟合模型成功概率,常报告50%与80%可靠性口径。教学例子:若50%时间跨度为2小时,意思是在这类人类约需2小时的任务上,拟合成功概率约50%,不是Agent持续运行2小时;这不是本页新增实测数字。[3]

当前套件对超过16小时的估计不可靠;陌生任务泛化、创建有效反馈、恢复错误和现实授权仍需另查。原页面2026-09-08最后更新并说明停止持续更新,使用其图表要保留这个状态。[3]

原研究事实摘要,原始配置与适用范围沿引用材料核对。

进度与时间线

论文发布、修订、业务进度和资料截止分别标识。未披露的事件日不补成精确日期。

  1. 2025-06-16预印本首稿

    AlphaEvolve论文首次提交。

    arXiv v1;不是实验日 · 日期

  2. 2026-09-08页面最后更新

    Time Horizon页面最后更新,并说明停止持续更新。

    Updates;不是研究首发日 · 日期

  3. 2026-09-22论文/项目页面发布

    METR 评估与方法的原始发布记录;不代表实验在该日完成

    原始页面元数据 citation_date · 日期

  4. 2026-10-12研究材料范围

    这份研究摘要的资料范围,不是上述事件统一发生的日期。

    原研究报告事实范围 · 资料截止

这对实际工作意味着什么

工作分析(编辑推断):可执行评估器能帮助反复搜索程序方案,但问题是否值得研究、评估是否测对目标仍由研究者确认。复用历史候选或失败经验时,应冻结最终留出任务、记录提示版本,并能回退错误改动;这不是AlphaEvolve论文测出的金融案例。

自动研发的局部提速与完整交付是不同目标。先选能自动检查的窄实验,记录失败、人工接管与可复现产物,再讨论扩大自主范围。

还有什么需要观察

基准情景是自动优化器在可计算目标、软件和实验流程片段上更强,科学选题、因果解释、反例搜索与外部复现仍由研究者把关。若第三方开展前瞻性实验,预注册目标和留出集,报告总成本、研究者工时、可复现产出与失败案例,并在多个课题组复现,能力与转化速度才可上调;观察 METR 后续可披露评测、自动实验闭环及独立研发团队的实际产出质量。

引用的证明材料

正文中的编号指向下列材料。材料类别、具体支持与限制一起阅读,不能按链接数量累计独立验证。

[1] 研究预印本

AlphaEvolve: A coding agent for scientific and algorithmic discovery ↗

AlphaEvolve 论文

支持的内容:程序反馈与48次复数标量乘法结果;不支持金融指导蒸馏或现场收益。

阅读定位:§2.1/§2.3(生成与评估配置);§2.2/§2.5(提示/进化);§3.1表2、附录表3(复数构造)。

按模型、任务与测量定义核对;不要将反馈搜索或概率时间跨度当整项研发完成率。

文档原始发布
2025-06-16
日期依据
arXiv v1首次提交记录

2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。

证据适用范围与核对状态

继承既有报告审查范围;导入未重跑或重新核验全部原始来源。文献家族未知,不计独立实验数。

结果依据继承原研究 2026-10-12,具体配置和局限需沿原文核对。

[2] 原始研究或机构项目说明

Summary of METR's predeployment evaluation of Claude Opus 5.5 ↗

METR 评估与方法

支持的内容:指定模型与5项任务窗口、渐进改善及内部进展加速估计的限定。

阅读定位:Summary of evidence;Conclusions (A)/(B)。

按模型、任务与测量定义核对;不要将反馈搜索或概率时间跨度当整项研发完成率。

文档原始发布
2026-09-22
日期依据
原始页面元数据 citation_date

2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。

证据适用范围与核对状态

继承既有报告审查范围;导入未重跑或重新核验全部原始来源。文献家族未知,不计独立实验数。

结果依据继承原研究 2026-10-12,具体配置和局限需沿原文核对。

[3] 原始研究或机构项目说明

Task-Completion Time Horizons of Frontier AI Models ↗

Time Horizon方法

支持的内容:时间跨度的统计定义、当前任务套件限制与停止持续更新状态。

阅读定位:Methodological Details、对应50%/80%与16小时的FAQ、Updates。

按模型、任务与测量定义核对;不要将反馈搜索或概率时间跨度当整项研发完成率。

文档原始发布
未提取到可靠日期
日期依据
原页面未提取到可靠发布日期,保持未知

2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。

证据适用范围与核对状态

继承指定研究的核验与配置范围,本次未重新复跑原始实验;文献独立家族未知。

结果依据继承原研究 2026-10-12,具体配置和局限需沿原文核对。

本页整理:2026-10-14 · 研究事实范围:2026-10-12。概念解释与既有研究展开;元数据访问不是原始实验复验。

可以怎样连接到你的工作

复现一个限定方法样例 →

可计算目标已有局部优化,选题、反例和外部复现不由优化分数代替。

相邻研究参考:相邻机制参考,不证明本原子通过;需实际输入、权限、独立验收和恢复。

相关的一年与三年场景

完整进展说明 Markdown →