# 论文复现交付：贡献到实际实验结果

工作单元：W-C25；版本：2026-10-21.workunits.2；复核：2026-10-20
针对固定论文贡献交付独立可运行实现及实际复现实验，逐项报告成功、差异与未复现范围。

## 当前用法
可委派理解论文、实现、实验与诊断循环；按每项贡献的真实产物接收，可部分完成但不能省略失败或预算。
依据：PaperBench要求从论文到代码和实际实验，以贡献评分准则（rubric）分开检查；原实验报告部分复现能力且没有超过其人类参照。
来源状态：active
本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。

条件：
- 准备许可数据、代码访问边界、硬件/依赖、基线和实际预算；区分从零实现与可复用原作者代码。
- 把贡献连到可验证产物和实验结果，预留独立复跑；LLM评价不能单独证明数值/数学正确。

## 请求与范围
固定原论文版本、补充/澄清和目标贡献，列需要复现的实验/理论结论及允许差异。
对象为既有结果的复现，不是原创发现；部分子贡献得分不能写成整篇论文成功，理论证明另以对应论证接收。

## 输入
- 复现目标：固定原论文版本、补充/澄清和目标贡献，列需要复现的实验/理论结论及允许差异。
- 数据与环境：准备许可数据、代码访问边界、硬件/依赖、基线和实际预算；区分从零实现与可复用原作者代码。
- 独立rubric：把贡献连到可验证产物和实验结果，预留独立复跑；LLM评价不能单独证明数值/数学正确。

## 交付物
- 按贡献组织的实现、环境/依赖与数据来源
- 实际执行日志、基线/消融/结果表及预算/失败账本
- 逐贡献复现状态、与原文差异原因及可复用材料

## 验收
1. 确实运行关键贡献
   方法：从固定环境重跑核心实验并核对产物/数据，代码存在或论文文字不计运行。
   拒收：只生成完整仓库而没有训练/实验输出。
2. 比较口径对应原文
   方法：检查数据划分、预处理、预算、硬件/模型版本与指标定义，差异显式报告。
   拒收：换更容易数据或多用预算却宣称精确复现。
3. 完成声明相称
   方法：每项贡献有证据与失败/缺口，不将部分分或裁判摘要改为整论文成功。
   拒收：模型judge说像原文，就忽略数值/理论错误。


## 具体例子
输入：复现一篇图模型论文的两个关键实验与一个消融。
预期产物：可重跑实现、数据/种子/资源、真实表格和未复现贡献。
失败：只画类似图，不记录训练与选择次数。

## 工作重组
以前：资料、实现/处理与验证分散交接，完成记录易脱离实际结果。
现在：Agent可检索澄清、实现和运行，按失败/统计差异修订；目标贡献与独立复跑保持固定。
保留：
- 确定复现价值、数据许可/预算，裁决何种差异仍算同一贡献；研究新颖性不在复现成功中偷渡。
新增：
- 每项贡献有证据与失败/缺口，不将部分分或裁判摘要改为整论文成功。

## 人的责任与失败接管
确定复现价值、数据许可/预算，裁决何种差异仍算同一贡献；研究新颖性不在复现成功中偷渡。
运行环境或预算不足交已实现/已运行/未运行分界，不能用预计成绩填结果。

## 尚待补足
- 目标贡献的真实运行、原文口径/预算比较和独立干净环境复跑尚未完成。

## 职业与团队下一步
论文复现交付：贡献到实际实验结果
按贡献组织的实现、环境/依赖与数据来源
选一项可公开且预算可控的论文贡献，校准独立rubric；让Agent交完整复现账本，再从干净环境复跑关键输出并解释差异。
/explore?purpose=career&domain=computing
PaperBench直接把论文复现作为实际运行任务，提供贡献rubric与裁判校准；这比代码生成更贴近研究复用结果，但仍是有分布和评价误差的评估。
Agent可检索澄清、实现和运行，按失败/统计差异修订；目标贡献与独立复跑保持固定。
在真实授权任务核对产物、失败、返工与接收时间，再据此配置工具、环境和人员。
/explore?purpose=team&domain=computing

## 证据与关系
- PaperBench v3：https://arxiv.org/abs/2504.01848v3
  定位：Abstract；replication rubrics与judge；公开 2025-04-02；v3修订2025-04-07；核查 2026-10-20；复查 2027-01-20
  支持：直接研究复现任务证据。
  未覆盖：部分评分和LLM裁判均有局限；不代表完整复现成功率。


## 任务级判断与证据
采用方式：探索与候选交付
从证据到建议：PaperBench直接把论文复现作为实际运行任务，提供贡献rubric与裁判校准；这比代码生成更贴近研究复用结果，但仍是有分布和评价误差的评估。
当前可用性：open-implementation；实际复现使用PaperBench与目标论文的贡献和执行入口；目标数据、环境与计算条件仍需准备。
- PaperBench论文及作者代码入口：https://arxiv.org/abs/2504.01848v3
  论文v3和目标贡献评分准则（rubric）；代码/依赖/镜像执行时固定；公开论文链接代码；数据许可、计算硬件和模型预算另备

### PaperBench要求从论文到代码和实际实验，以贡献评分准则（rubric）分开检查；原实验报告部分复现能力且没有超过其人类参照。
依据身份：外部报告结果；状态：active
- PaperBench v3：https://arxiv.org/abs/2504.01848v3
  定位：Abstract；rubrics/judge/baselines；关系：partial
  支持：直接研究复现任务证据。
  限制：部分评分和LLM裁判均有局限；不代表完整复现成功率。
  核查：2026-10-20；来源状态：active
配置：v3：20篇ICML2024论文，作者参与rubric，8316子项；原最佳Claude3.5 Sonnet(New)+开放脚手架，本站不转用评分。
适用限制：部分评分和LLM裁判均有局限；不代表完整复现成功率。
相关进展（本条判断）：
- PaperBench把论文复现拆为可检查贡献：/explore?purpose=understand&domain=computing&window=all#P-C-REPRO-RESEARCH
  首次公开 2025-04-02；资料修订 2025-04-07：文档版本/结果表述修订；没有据此推定新的模型能力跃迁。

### 可让Agent交从论文到实际实验的复现包，但每项贡献应由独立结果核对，部分成功与完整复现分开。
依据身份：有条件的编辑推断；状态：active
- PaperBench v3：https://arxiv.org/abs/2504.01848v3
  定位：rubrics and judge；关系：partial
  支持：直接复现评测支持按贡献接收。
  限制：裁判和数据分布有限；本目标未试验。
  核查：2026-10-20；来源状态：active
适用限制：裁判和数据分布有限；本目标未试验。

## 情境变化
### 从零与复用原代码
输入变化：是否能读取作者仓库，是否需从零实现。
判断变化：必须保留使用条件，不混合两种成绩。
验收变化：依赖/代码来源、同数据指标和公平预算。
### 数值与理论贡献
输入变化：论文同时有经验结果和定理。
判断变化：经验按运行验收，理论另查完整论证。
验收变化：计算输出、统计不确定性与假设/证明分别有证据。

研究前沿：PaperBench以20篇ICML2024论文、作者参与的贡献rubric和实际实验评估复现；其原实验展示部分贡献复现能力并有裁判局限。部分评分不等于整论文成功，本目标论文未运行。
下一项验证：选一项可公开且预算可控的论文贡献，校准独立rubric；让Agent交完整复现账本，再从干净环境复跑关键输出并解释差异。
未来改判信号：
- 独立环境能重复关键贡献，差异/预算与失败全部可追踪，可考虑扩大相近输入范围。
- 只生成代码/论文文本、隐藏未跑实验或把部分分写成完整复现，应收窄或暂停相应采用。

## 与本单元直接关联的进展
### PaperBench把论文复现拆为可检查贡献
公开 2025-04-02；资料修订 2025-04-07：文档版本/结果表述修订；没有据此推定新的模型能力跃迁。
要求从论文到代码并执行实验，部分贡献与完整复现需分开。
支持范围：贡献分与LLM裁判均有限，不是完整论文复现率。
来源状态：active
/explore?purpose=understand&domain=computing&window=all&kind=all#P-C-REPRO-RESEARCH

领域背景与未来情景：/explore?purpose=understand&domain=computing


## 工具与采用佐证