今天怎样委派
探索与候选交付
PaperBench直接把论文复现作为实际运行任务，提供贡献rubric与裁判校准；这比代码生成更贴近研究复用结果，但仍是有分布和评价误差的评估。
W-C25 · 条件能力评估
论文复现交付：贡献到实际实验结果
针对固定论文贡献交付独立可运行实现及实际复现实验，逐项报告成功、差异与未复现范围。
现在的用法
可委派理解论文、实现、实验与诊断循环；按每项贡献的真实产物接收，可部分完成但不能省略失败或预算。
PaperBench要求从论文到代码和实际实验，以贡献评分准则（rubric）分开检查；原实验报告部分复现能力且没有超过其人类参照。
开始前满足这些条件
- 准备许可数据、代码访问边界、硬件/依赖、基线和实际预算；区分从零实现与可复用原作者代码。
- 把贡献连到可验证产物和实验结果，预留独立复跑；LLM评价不能单独证明数值/数学正确。
本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。
用你已有的上下文继续
交给我的 Agent
带走当前公开资料，让你的 Agent 结合已有背景继续分析。也可以读完就结束。
查看可复制的内容
我正在了解：论文复现交付：贡献到实际实验结果 针对固定论文贡献交付独立可运行实现及实际复现实验，逐项报告成功、差异与未复现范围。 请读取这项工作的输入、条件和验收，结合当前授权与环境完成我提出的交付。先说明可执行范围和阻塞；保留失败、重试与独立接收记录，不把示例当作本次已运行结果。 公开资料： 当前任务与验收资料：https://edgeofwork.com/work-units/W-C25.md?version=2026-10-21.workunits.2 区分职业资料、研究结果、工具声明和编辑推断；读取资料给出的日期、版本与范围。需要时补充原始来源。使用自己的自然报告或对话继续，无需把个人材料和分析回填网站。
当前判断与直接依据
工具今天能否获得
实际复现使用PaperBench与目标论文的贡献和执行入口；目标数据、环境与计算条件仍需准备。
PaperBench论文及作者代码入口 ↗ · 论文v3和目标贡献评分准则（rubric）；代码/依赖/镜像执行时固定
公开论文链接代码；数据许可、计算硬件和模型预算另备
哪些具体证据支持判断
外部报告结果
PaperBench要求从论文到代码和实际实验，以贡献评分准则（rubric）分开检查；原实验报告部分复现能力且没有超过其人类参照。
判断限制：部分评分和LLM裁判均有局限；不代表完整复现成功率。
研究配置：v3：20篇ICML2024论文，作者参与rubric，8316子项；原最佳Claude3.5 Sonnet(New)+开放脚手架，本站不转用评分。
有条件的编辑推断
可让Agent交从论文到实际实验的复现包，但每项贡献应由独立结果核对，部分成功与完整复现分开。
判断限制：裁判和数据分布有限；本目标未试验。
输入变化会怎样改变结论
从零与复用原代码
是否能读取作者仓库，是否需从零实现。
采用范围：必须保留使用条件，不混合两种成绩。
验收变化：依赖/代码来源、同数据指标和公平预算。
数值与理论贡献
论文同时有经验结果和定理。
采用范围：经验按运行验收，理论另查完整论证。
验收变化：计算输出、统计不确定性与假设/证明分别有证据。
前沿已经展示到哪里
PaperBench以20篇ICML2024论文、作者参与的贡献rubric和实际实验评估复现；其原实验展示部分贡献复现能力并有裁判局限。部分评分不等于整论文成功，本目标论文未运行。
未知下一步怎样验证
选一项可公开且预算可控的论文贡献，校准独立rubric；让Agent交完整复现账本，再从干净环境复跑关键输出并解释差异。
未来什么信号会扩大或缩小边界
- 独立环境能重复关键贡献，差异/预算与失败全部可追踪，可考虑扩大相近输入范围。
- 只生成代码/论文文本、隐藏未跑实验或把部分分写成完整复现，应收窄或暂停相应采用。
交付什么
请求：固定原论文版本、补充/澄清和目标贡献，列需要复现的实验/理论结论及允许差异。
对象为既有结果的复现，不是原创发现；部分子贡献得分不能写成整篇论文成功，理论证明另以对应论证接收。
- 复现目标
- 固定原论文版本、补充/澄清和目标贡献，列需要复现的实验/理论结论及允许差异。
- 数据与环境
- 准备许可数据、代码访问边界、硬件/依赖、基线和实际预算；区分从零实现与可复用原作者代码。
- 独立rubric
- 把贡献连到可验证产物和实验结果，预留独立复跑；LLM评价不能单独证明数值/数学正确。
接收产物
- 按贡献组织的实现、环境/依赖与数据来源
- 实际执行日志、基线/消融/结果表及预算/失败账本
- 逐贡献复现状态、与原文差异原因及可复用材料
怎样验收
1. 确实运行关键贡献
从固定环境重跑核心实验并核对产物/数据，代码存在或论文文字不计运行。
拒收例子：只生成完整仓库而没有训练/实验输出。
2. 比较口径对应原文
检查数据划分、预处理、预算、硬件/模型版本与指标定义，差异显式报告。
拒收例子：换更容易数据或多用预算却宣称精确复现。
3. 完成声明相称
每项贡献有证据与失败/缺口，不将部分分或裁判摘要改为整论文成功。
拒收例子：模型judge说像原文，就忽略数值/理论错误。
一个具体例子
输入：复现一篇图模型论文的两个关键实验与一个消融。
预期交付：可重跑实现、数据/种子/资源、真实表格和未复现贡献。
容易出错：只画类似图，不记录训练与选择次数。
工作步骤怎样重组
原来的组织方式
资料、实现/处理与验证分散交接，完成记录易脱离实际结果。
现在的组织方式
Agent可检索澄清、实现和运行，按失败/统计差异修订；目标贡献与独立复跑保持固定。
保留的判断、新增的工作与失败接管
仍需做好
- 确定复现价值、数据许可/预算，裁决何种差异仍算同一贡献；研究新颖性不在复现成功中偷渡。
新增职责
- 每项贡献有证据与失败/缺口，不将部分分或裁判摘要改为整论文成功。
人的责任：确定复现价值、数据许可/预算，裁决何种差异仍算同一贡献；研究新颖性不在复现成功中偷渡。
失败处理：运行环境或预算不足交已实现/已运行/未运行分界，不能用预计成绩填结果。
尚待补足
- 目标贡献的真实运行、原文口径/预算比较和独立干净环境复跑尚未完成。
这对个人和团队意味着什么
职业与岗位
论文复现交付：贡献到实际实验结果
按贡献组织的实现、环境/依赖与数据来源
选一项可公开且预算可控的论文贡献，校准独立rubric；让Agent交完整复现账本，再从干净环境复跑关键输出并解释差异。
查看相关职业与方向 →团队与分工
PaperBench直接把论文复现作为实际运行任务，提供贡献rubric与裁判校准；这比代码生成更贴近研究复用结果，但仍是有分布和评价误差的评估。
Agent可检索澄清、实现和运行，按失败/统计差异修订；目标贡献与独立复跑保持固定。
在真实授权任务核对产物、失败、返工与接收时间，再据此配置工具、环境和人员。
查看工作分工与组织案例 →依据具体支持了什么
PaperBench v3
直接研究复现任务证据。
未覆盖：部分评分和LLM裁判均有局限；不代表完整复现成功率。
原文定位、日期与职业来源关系
- PaperBench v3 ↗
2025-04-02；v3修订2025-04-07 · 定位：Abstract；replication rubrics与judge
从论文到实现和实验的复现评测；部分复现得分不是论文完整复现率；不检验新颖性与所有理论结论。
核查 2026-10-20 · 下次复查 2027-01-20
未来3–5年：2029–2031
2029–2031：从单份修改到持续交付的软件Agent
整包应用案例、真实修复接收和运行流程优化，是更长软件任务可委派的正面信号。以下是本站据此提出的条件情景，不是这些研究给出的日期预测。
当前建议回答今天怎样交付；未来3–5年指2029–2031。编程的完整交付与数学的开放问题成果，支持认真准备更广泛自主工作的强情景。本站把AGI视作跨领域、能适应新任务且可靠达成复杂目标的讨论对象；这些进展是方向证据，尚不能确认某个AGI定义已满足或必在某年发生。三种情景均给出可观察信号、职责变化与现在行动，不把今天的局限或人的现有分工写成永久边界。
基准情景：完整修改成为常用交付
在上下文与测试较成熟的系统中，Agent承接功能、修复和回归的一体交付，维护者从逐步编写转向目标、异常与接收；审查的一部分继续自动化。
现在的行动：现在沉淀真实行为契约、失败样本和环境；按净交付周期衡量收益，不以代码量替代。
成立信号与职责变化
- 未见仓库和变更类型仍保持可验收交付
- 返工、接收和线上恢复成本随使用改善
- 环境/上下文变化能被检测并更新
工程岗位更常覆盖需求、系统取舍与运行结果；初级培养需从只写代码升级为理解与验证完整修改。
加速情景：软件成为按目标持续运行的系统
若长链恢复、跨仓库迁移和自动验证持续进步，Agent可在权限与预算内规划、实现、迁移和维护较大系统；人可用更少逐步干预探索新产品，团队边界可能重组。
现在的行动：把工具和职责做成可替换接口；试验更大交付，但按实际触发信号扩围，并安排成员转向新的业务机会。
成立信号与职责变化
- 跨多系统、数周目标能在真实变化后继续交付
- 独立评估能发现自生成测试漏掉的重要错误
- 完整人工介入和故障成本持续下降，且系统可迁移到新业务
稀缺工作可能转向选目标、产品机会、资源和影响取舍；不能预设人工代码审查永远是主要瓶颈。
受限情景：编码快，集成与组织仍慢
模型产物更强，但遗留系统、隐性需求、权限和恢复成本使自主交付扩展较慢；固定程序与AI协作长期并存。
现在的行动：优先修复反复出现的集成障碍；保持可回退的部署和岗位安排，避免依据榜单单独裁定编制。
成立信号与职责变化
- 未知依赖和需求变动仍引发大幅返工
- 审查和事故处理抵消生成提速
- 同一Agent换系统后需要重新铺上下文
系统知识、集成和沟通能力仍有高价值；工具投入首先服务复现、测试和资料。
持续观察什么，以及情景的研究依据
- 实际未见仓库的完整交付与维护记录
- 跨月净人工时间、回滚与事故情况
- 任务/环境/模型版本变化后的迁移表现
- 把长时间应用开发交付给Agent ↗
2026-03-24 · 定位：规划/生成/评价分工、实际应用操作及评价者限制
展示围绕可用应用的实现、操作评价与修正循环，支持以用户行为验收功能。；作者工程案例；未复现演示应用，不能推出任意项目可靠率或多Agent必优。
核查 2026-10-19 · 下次复查 2026-10-26 · 已到期待复查
- AI参与的修复PR：哪些被项目接收，哪些没有 ↗
2026-01-29 · 定位：§2样本、表1、§3.2失败原因
五类Agent参与的8106个修复PR中5267已合并、2113关闭未合并、726仍开放；提供修复交付与项目接收的观察。；非随机样本，Agent配置与项目不同；合并不等同全部正确或净省时，不用于本站成功率。
核查 2026-10-19 · 下次复查 2026-10-26 · 已到期待复查
- Harness²：固定执行模型，改进运行流程 ↗
2026-10-09 · 定位：§2.2、§3.1表1、附录B/D
WorkBuddy-Bench Code上的平均检查得分变化及工具/上下文/检查流程的优化方法。；检查项均分不是项目通过率；经验流内相关，候选与编辑成本另计；未验证本站任务。
核查 2026-10-19 · 下次复查 2026-10-26 · 已到期待复查
- Anthropic内部的工作与职责变化 ↗
2026-10-16 · 定位：Bottlenecks and process；采用非随机限制
单公司现场观察到Agent组织、上下文维护和注意力分配成为新的工作。；公司业务及采用选择特殊；产出代理量不等于完整业务价值，不外推行业岗位数量。
核查 2026-10-19 · 下次复查 2026-10-26 · 已到期待复查
- 任务时间跨度：软件任务趋势及其适用范围 ↗
未标注（最后更新2026-09-08） · 定位：页首维护状态；Methodological Details；FAQ
在给定软件类任务分布上，按人类专家任务时长描述模型可完成难度，适合观察长链能力趋势。；此页已停止主动更新；时间跨度不是Agent自主运行时长，不直接对应行业自动化或AGI日期。
核查 2026-10-19 · 下次复查 2026-10-26 · 已到期待复查