W.AI工作标准面向个人与企业给我的 Agent
公开证据与条件建议;未测结果保留未知。方法与局限 →

证据时间轴 · 三领域试点

写出多步数值问题的推导:证据与交接

得到对的数字,不一定给出了成立的推导。先区分答案、推理步骤和形式证明,再选择核验方法。

2026-10
回到最新

拖动或使用方向键;月份按月末取证据,最新月份截至 2026-10-19。不做月份之间的成绩插值。

证据截止

2026-10-19

本次收录的公开节点

5 条

数值答案、几何构造、机器可检证明和自然语言研究证明需要不同验收;竞赛突破不能代表整个数学职业。
1个代表任务切片;实际覆盖比例未知。节点数不是覆盖率或进步次数。

●限定评测 ◇产品流程 ■工作实验 ◆研究案例 △反例/测量受限。类型没有统一高低排名;同一任务允许同时有正面结果与限制。

任务定义、验收和术语是今天整理的对照框架;历史筛选只约束证据公开时间,不代表这些说明在当时已经存在。

公开、观察与整理,是三种时间

只画已公开节点;实验窗口仅在原文给出月份时示意。整理日不是能力发生日;靠近的公开点上下错开方便选择,纵向位置不表示能力高低。

选中任务的三轨日期材料公开日为离散点,已知观察月份为浅色范围,本页整理日为单独点;详细日期和未知在下方文字表。202120222023202420252026材料公开实验 / 观察本次整理2021-10-27 · 多候选加验证器开始改善多步计算2023-03-15 · 通用模型在应用题上取得高分2023-10-23 · 文字推导与程序计算分工2025-10-02 · 答案命中与推理过程判定给出不同图景2025-11-24 · 多次尝试的答案覆盖不等于单次可靠

当前证据截止 2026-10-19。月份范围不是每天的连续测量;没有实验日期的条目保持未知,不在观察轨制造点。

悬浮或键盘聚焦坐标点,先看核心信息;点击点位卡片,在详情区继续阅读。完整材料保留在下方。

先读懂这些词 · 术语速查
形式化 / Lean
把问题与条件写为机器可检查的逻辑命题;Lean检查所写命题的证明,人检查它是不是原问题。
CoT / pass@k
CoT是先生成推理步骤;Pass@K表示在指定评测标准下生成K个候选,至少一个通过的题目比例。M01的答案Pass@K核对最终答案,CoT-Pass@K另由模型裁判检查过程;两者都不等于形式证明内核通过。
自然语言核对器
用模型检查候选论证的语言流程,可能漏错;与严格规则的证明内核不同。
复数标量乘法
一次复数与复数相乘的算术操作计数;不能直接当成实数乘法次数或程序运行时间。

具体工作 · M01 · 方法整理 2026-10-16

数值推导:先确定你要验收哪种正确

得到对的数字,不一定给出了成立的推导。先区分答案、推理步骤和形式证明,再选择核验方法。

本案例是多步数值推导。形式证明只作为关联M03独立阅读,不把答案评测当证明。

把这项工作拆成可接收的交接

现今整理的方法示意;每个步骤的产物与核验是单独门槛,未执行AI任务。

  1. 人决定

    明确题意与产物

    说明变量、单位和条件;明确要数值答案还是成立推导。

    交付
    题意、条件与验收目标
    接收门槛
    条件不能偷偷替换
    这一步的证据与编辑安排

    本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

  2. AI草拟

    列出推导与表达式

    逐步把条件变成表达式,列出每一步依据。

    交付
    带条件的推导草稿
    接收门槛
    每一步运算前先核对语义
    这一步的证据与编辑安排

    本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

  3. 程序执行

    复算与反例检查

    复算数值;检查单位、边界条件和错误表达式。

    交付
    复算记录与反例
    接收门槛
    结果相同不代表过程等价
    这一步的证据与编辑安排

    本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

    有限直接支持:限定数值问答的程序执行方法;未测本资源约束题。Program of Thoughts:外部计算接口(v4) ↗ · v4 表2 GSM8K

    适用条件:不同训练在不同任务迁移不一致,需匹配目标任务。数学训练迁移的Qwen3-14B比较(v2) ↗ · v2 表1

  4. 人核验

    核对过程并接收

    审查推导是否成立;需要形式证明时另走M03核验命题语义与内核。

    交付
    接收/拒绝理由
    接收门槛
    没有过程证据不能宣称证明完成
    这一步的证据与编辑安排

    本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

    适用条件:模型裁判的过程接受不等同形式证明。RLVR推理过程核验研究(v2) ↗ · v2 §3及裁判方法

先比较条件,再理解结果

每行保留自己的任务、指标与分母;相近和背景证据不能替代这项工作实测。

程序执行接口

部分覆盖
任务 / 样本
GSM8K 1,318题;固定小学多步题
工具 / 设置
同Codex;少样本贪心CoT/PoT
最终答案准确率63.1% → 71.6%

不是逐步推导全部正确,也不代表高难证明

Program of Thoughts:外部计算接口(v4) ↘

答案覆盖研究

方法参考
任务 / 样本
AIME24与MATH500固定题集;Qwen2.5-7B-Base / SimpleRL-Qwen2.5-7B
工具 / 设置
答案覆盖;AIME24 K=1024、MATH500 K=128,主实验T=0.6
Pass@K高预算覆盖可能接近;保留定性

有限预算、不判所有过程;不同论文模型/条件不同

RLVR答案覆盖研究(v5) ↘

过程裁判研究

方法参考
任务 / 样本
AIME等数学题;Qwen2.5-32B/DAPO32B
工具 / 设置
每条推导由模型裁判3次:any至少1次接受,all全部接受,majority多数接受;K为生成候选数量,最高1024
CoT-Pass@KAIME24/25高K下答案覆盖可接近,裁判接受的过程覆盖仍有差距;定性

依赖模型裁判,不是形式内核;未转录曲线数值

RLVR推理过程核验研究(v2) ↘

人工构造 · 未执行AI任务

答案与过程的不同验收

【人工构造,未执行AI任务】
题意:甲每小时3件、乙每小时2件;速度恒定、无重复计数,共工作4小时。
推导:(3 + 2) × 4 = 20件。
答案核对:是否为20件。
过程核对:是否把两人的速度相加,并使用相同单位与共同工作时长。
失败例:直接写20件但无依据,不能据此接受“完整推导”。

工作型扩展【仍为人工构造】:安排两类不可拆工作包x、y;每包分别占2和5人时、收益3和4单位;总人时≤40,总包数≤12,设备只允许y≤8。要求x,y为非负整数,最大化3x+4y。
可行候选x=7,y=5:用39人时、12包、设备5,收益41。按y=0至8枚举,并取x=min(12-y, floor((40-5y)/2))的非负值,可独立核对最优41。
失败候选x=20/3,y=16/3虽给连续上界124/3,却违反整数条件。若设备上限改为4,则应重算为x=8,y=4、收益40;不能沿用旧答案。
交付需包括条件表、单位、整数性、枚举/求解输入、可行性核验、边界与改题结果。

小例子仅解释验收差异;未形成研究级数学证明或模型成绩。

什么时候要停下来

数字正确,却用不成立的中间等式

答案命中可能掩盖过程错误。逐步检查依据;不能修正则拒绝推导。

多次尝试找到答案,只保留成功一条

隐藏尝试预算、挑选成本和失败。记录全部尝试与选取规则;不把Pass@K当单次保证。

连续解很好看,但工作包不可拆分

题意到模型时遗漏整数约束,答案不具可执行性。返回条件表,按整数重新求解并核对资源上限。

准备一个限定试点

一组条件明确、可独立复算的数值题;不扩大成开放证明或教学效果

先有基线:保存同一题意下人的答案/过程核验方式;分别计时

  • 答案与单位可复算
  • 每个推导步骤有依据、原条件未改
  • 重复尝试/裁判配置/人的核验独立记录

完整人时:活动人时:题意确认、活动人时:人工过程审查、活动人时:复算、活动人时:反例与边界检查、活动人时:返工、活动人时:提示、交互与监督、活动人时:接管与适用的维护、另记:机器运行、等待及端到端历时;重叠活动不重复累计;若等待占用本人,注明计量约定分别记录,不能只看生成时长。

停止条件:题意被替换、过程不成立或裁判无法确认时,拒绝推导并由人接管

查看准备材料与本地回执字段
# M01 数值推导:先确定你要验收哪种正确:试点准备材料

模块 2026-10-19.boundary.1;方法整理 2026-10-16
证据状态 active;实际覆盖比例未知(null)
这是准备模板,不启动执行。

得到对的数字,不一定给出了成立的推导。先区分答案、推理步骤和形式证明,再选择核验方法。
适配:本案例是多步数值推导。形式证明只作为关联M03独立阅读,不把答案评测当证明。

## 交接与验收
1. 明确题意与产物(人决定):说明变量、单位和条件;明确要数值答案还是成立推导。
   产物:题意、条件与验收目标
   门槛:条件不能偷偷替换
   编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

2. 列出推导与表达式(AI草拟):逐步把条件变成表达式,列出每一步依据。
   产物:带条件的推导草稿
   门槛:每一步运算前先核对语义
   编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

3. 复算与反例检查(程序执行):复算数值;检查单位、边界条件和错误表达式。
   产物:复算记录与反例
   门槛:结果相同不代表过程等价
   编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
   - 有限直接支持:限定数值问答的程序执行方法;未测本资源约束题;https://arxiv.org/html/2211.12588v4;v4 表2 GSM8K
   - 适用条件:不同训练在不同任务迁移不一致,需匹配目标任务;https://arxiv.org/html/2507.00432v2;v2 表1
4. 核对过程并接收(人核验):审查推导是否成立;需要形式证明时另走M03核验命题语义与内核。
   产物:接收/拒绝理由
   门槛:没有过程证据不能宣称证明完成
   编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
   - 适用条件:模型裁判的过程接受不等同形式证明;https://arxiv.org/html/2506.14245v2;v2 §3及裁判方法

## 人工构造、未执行AI任务的产物格式
【人工构造,未执行AI任务】
题意:甲每小时3件、乙每小时2件;速度恒定、无重复计数,共工作4小时。
推导:(3 + 2) × 4 = 20件。
答案核对:是否为20件。
过程核对:是否把两人的速度相加,并使用相同单位与共同工作时长。
失败例:直接写20件但无依据,不能据此接受“完整推导”。

工作型扩展【仍为人工构造】:安排两类不可拆工作包x、y;每包分别占2和5人时、收益3和4单位;总人时≤40,总包数≤12,设备只允许y≤8。要求x,y为非负整数,最大化3x+4y。
可行候选x=7,y=5:用39人时、12包、设备5,收益41。按y=0至8枚举,并取x=min(12-y, floor((40-5y)/2))的非负值,可独立核对最优41。
失败候选x=20/3,y=16/3虽给连续上界124/3,却违反整数条件。若设备上限改为4,则应重算为x=8,y=4、收益40;不能沿用旧答案。
交付需包括条件表、单位、整数性、枚举/求解输入、可行性核验、边界与改题结果。
小例子仅解释验收差异;未形成研究级数学证明或模型成绩。

## 失败与接管
- 数字正确,却用不成立的中间等式:答案命中可能掩盖过程错误。逐步检查依据;不能修正则拒绝推导
- 多次尝试找到答案,只保留成功一条:隐藏尝试预算、挑选成本和失败。记录全部尝试与选取规则;不把Pass@K当单次保证
- 连续解很好看,但工作包不可拆分:题意到模型时遗漏整数约束,答案不具可执行性。返回条件表,按整数重新求解并核对资源上限

## 限定试点
范围:一组条件明确、可独立复算的数值题;不扩大成开放证明或教学效果
基线:保存同一题意下人的答案/过程核验方式;分别计时
验收:
- 答案与单位可复算
- 每个推导步骤有依据、原条件未改
- 重复尝试/裁判配置/人的核验独立记录
分别记录人时:活动人时:题意确认;活动人时:人工过程审查;活动人时:复算;活动人时:反例与边界检查;活动人时:返工;活动人时:提示、交互与监督;活动人时:接管与适用的维护;另记:机器运行、等待及端到端历时;重叠活动不重复累计;若等待占用本人,注明计量约定
停止:题意被替换、过程不成立或裁判无法确认时,拒绝推导并由人接管

## 回执(实际发生后再填)
任务/版本/资料与环境:____
已授权范围与工具配置:____
实际输入/产物路径:____
全部尝试与逐项验收:____
最终接收/拒绝与接管:____
基线/准备/核验/返工人时:____
未知与未验证项:____
提示/交互/监督/接管/适用维护的活动人时;机器运行/等待/端到端历时及重叠计量约定:____
未经实际执行和逐项验收,状态保持未验证;默认本地保存,不上传。

## 条件比较
- 程序执行接口(部分覆盖):GSM8K 1,318题;固定小学多步题
  设置:同Codex;少样本贪心CoT/PoT
  最终答案准确率:63.1% → 71.6%
  限制:不是逐步推导全部正确,也不代表高难证明
- 答案覆盖研究(方法参考):AIME24与MATH500固定题集;Qwen2.5-7B-Base / SimpleRL-Qwen2.5-7B
  设置:答案覆盖;AIME24 K=1024、MATH500 K=128,主实验T=0.6
  Pass@K:高预算覆盖可能接近;保留定性
  限制:有限预算、不判所有过程;不同论文模型/条件不同
- 过程裁判研究(方法参考):AIME等数学题;Qwen2.5-32B/DAPO32B
  设置:每条推导由模型裁判3次:any至少1次接受,all全部接受,majority多数接受;K为生成候选数量,最高1024
  CoT-Pass@K:AIME24/25高K下答案覆盖可接近,裁判接受的过程覆盖仍有差距;定性
  限制:依赖模型裁判,不是形式内核;未转录曲线数值

## 原始材料
- [GSM8K:多步应用题与验证器](https://arxiv.org/html/2110.14168v1);所引用版本公开2021-10-27;阅读2026-10-14;状态active;§2数据;§4.2验证器;§4与附录C计算器;英语小学应用题,计算器和多候选验证配置;不等于研究数学
- [GPT-4技术报告首稿](https://arxiv.org/html/2303.08774v1);所引用版本公开2023-03-15;阅读2026-10-14;状态active;表2 GSM-8K;附录E训练集使用;5-shot思维链,训练含部分GSM8K训练集;最终答案分不保证每步论证正确
- [Program of Thoughts:外部计算接口(v4)](https://arxiv.org/html/2211.12588v4);所引用版本公开2023-10-23;阅读2026-10-15;状态active;§2.2;§3.1数据/实现/指标;§3.2表2;同底层模型改变提示与执行流程;未匹配完整延迟/预算;不是端到端财务工作通过率
- [RLVR答案覆盖研究(v5)](https://arxiv.org/html/2504.13837v5);所引用版本公开2025-11-24;阅读2026-10-15;状态active;§3设置;表2;附录C.7覆盖与C.8温度分析;有限采样只测答案命中;特定模型/任务结果不等于所有推理机制;不与另一论文合并效应
- [RLVR推理过程核验研究(v2)](https://arxiv.org/html/2506.14245v2);所引用版本公开2025-10-02;阅读2026-10-15;状态active;§3.1图2;§3.2图3;附录A.3裁判方法;推理过程由模型裁判判定,有any/all/majority规则;不是形式证明内核,图值未可靠转录则定性
- [数学训练迁移的Qwen3-14B比较(v2)](https://arxiv.org/html/2507.00432v2);所引用版本公开2025-10-20;阅读2026-10-16;状态active;表1;§2.2;附录A.3;训练问题相同不代表总算力相同;ACPBench并非真实工作交付

下载和复制不启动执行;实际完成后再填回执,未知保持未知。实际工作材料留在自己的工具中。

读懂背后的方法与研究 →

沿原文核对条件与结果

研究基准 · BM01

GSM8K:多步应用题与验证器 ↗

引用版本公开 2021-10-27 · 实际阅读 2026-10-14 · 保留引用

定位:§2数据;§4.2验证器;§4与附录C计算器。

英语小学应用题,计算器和多候选验证配置;不等于研究数学。

页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。

发布方基准 · BM02

GPT-4技术报告首稿 ↗

引用版本公开 2023-03-15 · 实际阅读 2026-10-14 · 保留引用

定位:表2 GSM-8K;附录E训练集使用。

5-shot思维链,训练含部分GSM8K训练集;最终答案分不保证每步论证正确。

页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。

综述 · BS02

数学推理综述 ↗

引用版本公开 2025-06-10 · 实际阅读 2026-10-14 · 保留引用

定位:§3推理组成;§4方法;§5–6局限。

综述用于任务框架与机制,不回填更早年份的已知成绩。

页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。

综述 · BS03

自动形式化综述 ↗

引用版本公开 2025-05-29 · 实际阅读 2026-10-14 · 保留引用

定位:formalization定义;评测/语义对齐讨论。

机器核查形式命题不保证与自然语言原问题等价。

页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。

数值任务研究预印本 · program-of-thoughts

Program of Thoughts:外部计算接口(v4) ↗

引用版本公开 2023-10-23 · 实际阅读 2026-10-15 · 保留引用

定位:§2.2;§3.1数据/实现/指标;§3.2表2。

同底层模型改变提示与执行流程;未匹配完整延迟/预算;不是端到端财务工作通过率。

固定v4页首:2023-10-23;不把v4表格倒填v1;本轮直接核对所列原文位置/版本;未复跑外部实验。

推理评测研究预印本 · rlvr-answer-support

RLVR答案覆盖研究(v5) ↗

引用版本公开 2025-11-24 · 实际阅读 2026-10-15 · 保留引用

定位:§3设置;表2;附录C.7覆盖与C.8温度分析。

有限采样只测答案命中;特定模型/任务结果不等于所有推理机制;不与另一论文合并效应。

固定v5:2025-11-24;具体结论以所引用版本为准;本轮直接核对所列原文位置/版本;未复跑外部实验。

推理评测研究预印本 · rlvr-judged-traces

RLVR推理过程核验研究(v2) ↗

引用版本公开 2025-10-02 · 实际阅读 2026-10-15 · 保留引用

定位:§3.1图2;§3.2图3;附录A.3裁判方法。

推理过程由模型裁判判定,有any/all/majority规则;不是形式证明内核,图值未可靠转录则定性。

固定v2页首:2025-10-02;不倒填首次预印本日期;本轮直接核对所列原文位置/版本;未复跑外部实验。

训练方法研究预印本 · math-training-transfer

数学训练迁移的Qwen3-14B比较(v2) ↗

引用版本公开 2025-10-20 · 实际阅读 2026-10-16 · 保留引用

定位:表1;§2.2;附录A.3。

训练问题相同不代表总算力相同;ACPBench并非真实工作交付。

固定v2实际修订2025-10-20;v1发表于2025-07-01;本轮直接阅读所列原文和固定版本;未复跑外部实验。

用研究理解工作,再决定下一步

现今补充 · 独立观察模块2026-10-19.observations.2;原前沿研究基准另行保留。

看使用和采用背景、固定测试条件与成本;读训练迁移和评测方法,再回到输入、交接与验收。

使用与采用观察 → · 固定能力测试 → · 成本背景 →

M01

写出多步数值问题的推导 ↘

● 限定评测

通过重复采样寻找正确答案;每次尝试与推理正确性需要另外核验。

最近材料 2025-11-24 · 人机协作

人:核对单位、条件与每一步理由

卡片标签表示最近公开材料的性质,不是这个任务整体已能自动完成;历史能力并不因后来的限制记录被删除。

怎样读这个时间轴

主轴按原始材料公开日期;实验/上线时点另列。历史空白仅表示本次未收录证据;后来的质疑不偷偷改写早期结果。

覆盖的含义:在指定输入、环境和验收下,材料支持AI参与哪些动作;未知比例保持null。

速度的含义:证据节点之间的日历间隔、流程交接变化;指标/样本/预算不一致时,不计算能力增长率或外推一年三年。

目的性选择三个领域的代表任务,不是穷尽检索或无偏职业采样;基础时间轴于2026-10-14核对,本次精选补充与证据截止2026-10-15,固定论文优先,不把动态榜排名倒填历史。

每个任务保留人的核验与决策;材料数量不等于独立实验数量,模型、Agent框架、重试预算和完整验收一并阅读。历史研究今天读取,不是当时保存的逐日网络档案。

逐项可查

任务、条件与原始证据

领域概念与前沿 →

任务切片 M01

写出多步数值问题的推导

输入
文字应用题、数量与单位
交付
答案、步骤及可重算表达式
人继续负责
核对单位、条件与每一步理由
证据适配
GSM8K是小学应用题的相近测试;不是专业数学工作覆盖率

任务验收:数字可重算;条件无遗漏;步骤与答案一致。

公开 2021-10-27 · 论文对照发现改进;本条未摘录数值通过率

多候选加验证器开始改善多步计算

GSM8K包含约8500道2–8步应用题;专门训练的验证器在多候选中选答案,比微调基线更有效。

工作含义:推导并非生成一次就可靠;候选与核对环节开始成为工作流。;依据:GSM8K:多步应用题与验证器

● 限定评测

多候选加验证器开始改善多步计算

GSM8K包含约8500道2–8步应用题;专门训练的验证器在多候选中选答案,比微调基线更有效。

配置 / 输入
GPT-3系列微调,生成多个候选并排序;计算器注释
衡量什么
论文对照发现改进;本条未摘录数值通过率
事件 / 运行
原文未给精确运行日期;上方为材料公开日
对任务意味着
推导并非生成一次就可靠;候选与核对环节开始成为工作流。
比较条件
任务/配置或指标不同,不计算统一增长率
限制
验证器判断不等于数学证明;英语小学题不是专业工作样本。

公开 2023-03-15 · 指定测试最终答案准确率

通用模型在应用题上取得高分

GPT-4首稿在GSM8K报告92.0%最终答案正确。

工作含义:可以让模型起草推导,再独立重算数字与步骤。;依据:GPT-4技术报告首稿

● 限定评测

通用模型在应用题上取得高分

GPT-4首稿在GSM8K报告92.0%最终答案正确。

配置 / 输入
5-shot思维链;预训练含部分GSM8K训练集
衡量什么
指定测试最终答案准确率
事件 / 运行
原文未给精确运行日期;上方为材料公开日
对任务意味着
可以让模型起草推导,再独立重算数字与步骤。
比较条件
任务/配置或指标不同,不计算统一增长率
限制
训练与提示不同于2021验证器;分数不证明每个中间步骤可靠。

公开 2023-10-23 · 最终答案准确率,不是每条推导正确率

文字推导与程序计算分工

GSM8K测试1,318题;同一表2中Codex CoT 63.1%、PoT 71.6%,采用少样本贪心设置。

工作含义:数值答案可由执行器复算;题意到表达式的转换不因能运行而自动正确。;依据:Program of Thoughts:外部计算接口(v4)

● 限定评测

文字推导与程序计算分工

GSM8K测试1,318题;同一表2中Codex CoT 63.1%、PoT 71.6%,采用少样本贪心设置。

配置 / 输入
code-davinci-002;Python3.8/SymPy;同论文提示/执行系统比较
衡量什么
最终答案准确率,不是每条推导正确率
事件 / 运行
原文未给精确运行日期;上方为材料公开日
对任务意味着
数值答案可由执行器复算;题意到表达式的转换不因能运行而自动正确。
比较条件
只解释这一来源/任务/配置;不与其他题集连成增长曲线
限制
小学多步题,不代表高难证明或自然语言推导全通过。

公开 2025-10-02 · 最终答案与裁判接受的推理过程是不同目标

答案命中与推理过程判定给出不同图景

Wen等在Qwen2.5-32B/DAPO-Qwen-32B的AIME24/25配置中观察:高K下答案覆盖可接近,但裁判接受的过程覆盖仍有差距;只保留定性图结论。

工作含义:选择验收对象会改变所谓能力边界;需要核对过程和裁判可靠性。;依据:RLVR推理过程核验研究(v2)

● 限定评测

答案命中与推理过程判定给出不同图景

Wen等在Qwen2.5-32B/DAPO-Qwen-32B的AIME24/25配置中观察:高K下答案覆盖可接近,但裁判接受的过程覆盖仍有差距;只保留定性图结论。

配置 / 输入
Qwen2.5-32B与DAPO-Qwen-32B;DeepSeek-R1-0528-Qwen3-8B裁判,每条推导裁判3次;any至少1次接受/all全部接受/majority多数接受;生成候选K最高1024
衡量什么
最终答案与裁判接受的推理过程是不同目标
事件 / 运行
原文未给精确运行日期;上方为材料公开日
对任务意味着
选择验收对象会改变所谓能力边界;需要核对过程和裁判可靠性。
比较条件
只解释这一来源/任务/配置;不与其他题集连成增长曲线
限制
图值未数字化;依赖模型裁判,不能称Lean内核通过或无争议正确推理。

公开 2025-11-24 · Pass@K:K次中至少一次答案命中,不是单次或过程保证

多次尝试的答案覆盖不等于单次可靠

Yue等在特定模型/题集上比较不同采样K的答案覆盖;高预算下基础模型与RLVR模型的覆盖可能接近。

工作含义:记录全部尝试和选答案成本,不能只展示最终成功的一次。;依据:RLVR答案覆盖研究(v5)

● 限定评测

多次尝试的答案覆盖不等于单次可靠

Yue等在特定模型/题集上比较不同采样K的答案覆盖;高预算下基础模型与RLVR模型的覆盖可能接近。

配置 / 输入
Qwen2.5-7B-Base 与 SimpleRL-Qwen2.5-7B;AIME24 K=1024、MATH500 K=128;主实验T=0.6;仅选固定v5这一组作方法参考
衡量什么
Pass@K:K次中至少一次答案命中,不是单次或过程保证
事件 / 运行
原文未给精确运行日期;上方为材料公开日
对任务意味着
记录全部尝试和选答案成本,不能只展示最终成功的一次。
比较条件
只解释这一来源/任务/配置;不与其他题集连成增长曲线
限制
有限采样与不同题目/训练条件;不据此断言RL永远没有新能力。

从工作证据继续到你的问题

先分清你要做数值建模、计算核验,还是形式证明;模型解题进展只有在匹配的工作步骤上才有参考价值。

网站维护记录

领域前沿、任务影响与预测变化 → · 订阅前沿变化

编辑历史

这些是网站记录的修订

工作建议变化和资料维护分开记录。没有可比运行时,不把页面更新称为AI能力进步。

订阅:Atom · JSON

资料维护来源核查

DABstep区分已验证与未验证结果

对工作的影响

使用数据分析证据时,先核对榜单验证状态;继续按本地业务门槛验收,不因榜单维护状态改变委派范围。

原依据 / 条件

介绍页的早期结果容易被误作当前能力

新依据 / 条件

已验证榜单暂停新增验证;v2待发布

只引用具体结果状态和日期;没有取到可靠最新数值时保留原始入口。日期为本站核查日。

查看原始依据与限制 →
资料维护来源核查

营销自测保留可复核性缺口

对工作的影响

将营销供应商自测作为补充线索;验收标准不因自报分数而降低。等待可访问的任务和运行记录再评估支持力度。

原依据 / 条件

官网宣称任务、评分与原始运行已公开

新依据 / 条件

本轮访问所链仓库返回404

自测结果附明显限制,不升级为独立验证;后续重查公开资产。日期为本站核查日。

查看原始依据与限制 →
资料维护评测修订

SWE-Bench Pro修订任务与运行协议

对工作的影响

在软件回执中记录V2与运行协议;与旧版比较前先检查任务集合和配置。

原依据 / 条件

旧公开集731题

新依据 / 条件

V2为642题,修正任务并锁定协议

开发任务保留基准版本。旧版与新版成绩分开解释,不自动认定能力回退或进步。

查看原始依据与限制 →