多候选加验证器开始改善多步计算
- 材料公开
- 实验 / 观察
- 原文未给具体运行日期
- 本次整理
- 2026-10-19;不替代运行或公开日期
证据时间轴 · 三领域试点
得到对的数字,不一定给出了成立的推导。先区分答案、推理步骤和形式证明,再选择核验方法。
证据截止
2026-10-19本次收录的公开节点
5 条数值答案、几何构造、机器可检证明和自然语言研究证明需要不同验收;竞赛突破不能代表整个数学职业。
1个代表任务切片;实际覆盖比例未知。节点数不是覆盖率或进步次数。
●限定评测 ◇产品流程 ■工作实验 ◆研究案例 △反例/测量受限。类型没有统一高低排名;同一任务允许同时有正面结果与限制。
任务定义、验收和术语是今天整理的对照框架;历史筛选只约束证据公开时间,不代表这些说明在当时已经存在。
只画已公开节点;实验窗口仅在原文给出月份时示意。整理日不是能力发生日;靠近的公开点上下错开方便选择,纵向位置不表示能力高低。
当前证据截止 2026-10-19。月份范围不是每天的连续测量;没有实验日期的条目保持未知,不在观察轨制造点。
悬浮或键盘聚焦坐标点,先看核心信息;点击点位卡片,在详情区继续阅读。完整材料保留在下方。
具体工作 · M01 · 方法整理 2026-10-16
得到对的数字,不一定给出了成立的推导。先区分答案、推理步骤和形式证明,再选择核验方法。
本案例是多步数值推导。形式证明只作为关联M03独立阅读,不把答案评测当证明。
现今整理的方法示意;每个步骤的产物与核验是单独门槛,未执行AI任务。
说明变量、单位和条件;明确要数值答案还是成立推导。
本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
逐步把条件变成表达式,列出每一步依据。
本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
复算数值;检查单位、边界条件和错误表达式。
本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
有限直接支持:限定数值问答的程序执行方法;未测本资源约束题。Program of Thoughts:外部计算接口(v4) ↗ · v4 表2 GSM8K
适用条件:不同训练在不同任务迁移不一致,需匹配目标任务。数学训练迁移的Qwen3-14B比较(v2) ↗ · v2 表1
审查推导是否成立;需要形式证明时另走M03核验命题语义与内核。
每行保留自己的任务、指标与分母;相近和背景证据不能替代这项工作实测。
不是逐步推导全部正确,也不代表高难证明
Program of Thoughts:外部计算接口(v4) ↘有限预算、不判所有过程;不同论文模型/条件不同
RLVR答案覆盖研究(v5) ↘依赖模型裁判,不是形式内核;未转录曲线数值
RLVR推理过程核验研究(v2) ↘人工构造 · 未执行AI任务
【人工构造,未执行AI任务】 题意:甲每小时3件、乙每小时2件;速度恒定、无重复计数,共工作4小时。 推导:(3 + 2) × 4 = 20件。 答案核对:是否为20件。 过程核对:是否把两人的速度相加,并使用相同单位与共同工作时长。 失败例:直接写20件但无依据,不能据此接受“完整推导”。 工作型扩展【仍为人工构造】:安排两类不可拆工作包x、y;每包分别占2和5人时、收益3和4单位;总人时≤40,总包数≤12,设备只允许y≤8。要求x,y为非负整数,最大化3x+4y。 可行候选x=7,y=5:用39人时、12包、设备5,收益41。按y=0至8枚举,并取x=min(12-y, floor((40-5y)/2))的非负值,可独立核对最优41。 失败候选x=20/3,y=16/3虽给连续上界124/3,却违反整数条件。若设备上限改为4,则应重算为x=8,y=4、收益40;不能沿用旧答案。 交付需包括条件表、单位、整数性、枚举/求解输入、可行性核验、边界与改题结果。
小例子仅解释验收差异;未形成研究级数学证明或模型成绩。
答案命中可能掩盖过程错误。逐步检查依据;不能修正则拒绝推导。
隐藏尝试预算、挑选成本和失败。记录全部尝试与选取规则;不把Pass@K当单次保证。
题意到模型时遗漏整数约束,答案不具可执行性。返回条件表,按整数重新求解并核对资源上限。
一组条件明确、可独立复算的数值题;不扩大成开放证明或教学效果
先有基线:保存同一题意下人的答案/过程核验方式;分别计时
完整人时:活动人时:题意确认、活动人时:人工过程审查、活动人时:复算、活动人时:反例与边界检查、活动人时:返工、活动人时:提示、交互与监督、活动人时:接管与适用的维护、另记:机器运行、等待及端到端历时;重叠活动不重复累计;若等待占用本人,注明计量约定分别记录,不能只看生成时长。
停止条件:题意被替换、过程不成立或裁判无法确认时,拒绝推导并由人接管
# M01 数值推导:先确定你要验收哪种正确:试点准备材料 模块 2026-10-19.boundary.1;方法整理 2026-10-16 证据状态 active;实际覆盖比例未知(null) 这是准备模板,不启动执行。 得到对的数字,不一定给出了成立的推导。先区分答案、推理步骤和形式证明,再选择核验方法。 适配:本案例是多步数值推导。形式证明只作为关联M03独立阅读,不把答案评测当证明。 ## 交接与验收 1. 明确题意与产物(人决定):说明变量、单位和条件;明确要数值答案还是成立推导。 产物:题意、条件与验收目标 门槛:条件不能偷偷替换 编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。 2. 列出推导与表达式(AI草拟):逐步把条件变成表达式,列出每一步依据。 产物:带条件的推导草稿 门槛:每一步运算前先核对语义 编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。 3. 复算与反例检查(程序执行):复算数值;检查单位、边界条件和错误表达式。 产物:复算记录与反例 门槛:结果相同不代表过程等价 编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。 - 有限直接支持:限定数值问答的程序执行方法;未测本资源约束题;https://arxiv.org/html/2211.12588v4;v4 表2 GSM8K - 适用条件:不同训练在不同任务迁移不一致,需匹配目标任务;https://arxiv.org/html/2507.00432v2;v2 表1 4. 核对过程并接收(人核验):审查推导是否成立;需要形式证明时另走M03核验命题语义与内核。 产物:接收/拒绝理由 门槛:没有过程证据不能宣称证明完成 编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。 - 适用条件:模型裁判的过程接受不等同形式证明;https://arxiv.org/html/2506.14245v2;v2 §3及裁判方法 ## 人工构造、未执行AI任务的产物格式 【人工构造,未执行AI任务】 题意:甲每小时3件、乙每小时2件;速度恒定、无重复计数,共工作4小时。 推导:(3 + 2) × 4 = 20件。 答案核对:是否为20件。 过程核对:是否把两人的速度相加,并使用相同单位与共同工作时长。 失败例:直接写20件但无依据,不能据此接受“完整推导”。 工作型扩展【仍为人工构造】:安排两类不可拆工作包x、y;每包分别占2和5人时、收益3和4单位;总人时≤40,总包数≤12,设备只允许y≤8。要求x,y为非负整数,最大化3x+4y。 可行候选x=7,y=5:用39人时、12包、设备5,收益41。按y=0至8枚举,并取x=min(12-y, floor((40-5y)/2))的非负值,可独立核对最优41。 失败候选x=20/3,y=16/3虽给连续上界124/3,却违反整数条件。若设备上限改为4,则应重算为x=8,y=4、收益40;不能沿用旧答案。 交付需包括条件表、单位、整数性、枚举/求解输入、可行性核验、边界与改题结果。 小例子仅解释验收差异;未形成研究级数学证明或模型成绩。 ## 失败与接管 - 数字正确,却用不成立的中间等式:答案命中可能掩盖过程错误。逐步检查依据;不能修正则拒绝推导 - 多次尝试找到答案,只保留成功一条:隐藏尝试预算、挑选成本和失败。记录全部尝试与选取规则;不把Pass@K当单次保证 - 连续解很好看,但工作包不可拆分:题意到模型时遗漏整数约束,答案不具可执行性。返回条件表,按整数重新求解并核对资源上限 ## 限定试点 范围:一组条件明确、可独立复算的数值题;不扩大成开放证明或教学效果 基线:保存同一题意下人的答案/过程核验方式;分别计时 验收: - 答案与单位可复算 - 每个推导步骤有依据、原条件未改 - 重复尝试/裁判配置/人的核验独立记录 分别记录人时:活动人时:题意确认;活动人时:人工过程审查;活动人时:复算;活动人时:反例与边界检查;活动人时:返工;活动人时:提示、交互与监督;活动人时:接管与适用的维护;另记:机器运行、等待及端到端历时;重叠活动不重复累计;若等待占用本人,注明计量约定 停止:题意被替换、过程不成立或裁判无法确认时,拒绝推导并由人接管 ## 回执(实际发生后再填) 任务/版本/资料与环境:____ 已授权范围与工具配置:____ 实际输入/产物路径:____ 全部尝试与逐项验收:____ 最终接收/拒绝与接管:____ 基线/准备/核验/返工人时:____ 未知与未验证项:____ 提示/交互/监督/接管/适用维护的活动人时;机器运行/等待/端到端历时及重叠计量约定:____ 未经实际执行和逐项验收,状态保持未验证;默认本地保存,不上传。 ## 条件比较 - 程序执行接口(部分覆盖):GSM8K 1,318题;固定小学多步题 设置:同Codex;少样本贪心CoT/PoT 最终答案准确率:63.1% → 71.6% 限制:不是逐步推导全部正确,也不代表高难证明 - 答案覆盖研究(方法参考):AIME24与MATH500固定题集;Qwen2.5-7B-Base / SimpleRL-Qwen2.5-7B 设置:答案覆盖;AIME24 K=1024、MATH500 K=128,主实验T=0.6 Pass@K:高预算覆盖可能接近;保留定性 限制:有限预算、不判所有过程;不同论文模型/条件不同 - 过程裁判研究(方法参考):AIME等数学题;Qwen2.5-32B/DAPO32B 设置:每条推导由模型裁判3次:any至少1次接受,all全部接受,majority多数接受;K为生成候选数量,最高1024 CoT-Pass@K:AIME24/25高K下答案覆盖可接近,裁判接受的过程覆盖仍有差距;定性 限制:依赖模型裁判,不是形式内核;未转录曲线数值 ## 原始材料 - [GSM8K:多步应用题与验证器](https://arxiv.org/html/2110.14168v1);所引用版本公开2021-10-27;阅读2026-10-14;状态active;§2数据;§4.2验证器;§4与附录C计算器;英语小学应用题,计算器和多候选验证配置;不等于研究数学 - [GPT-4技术报告首稿](https://arxiv.org/html/2303.08774v1);所引用版本公开2023-03-15;阅读2026-10-14;状态active;表2 GSM-8K;附录E训练集使用;5-shot思维链,训练含部分GSM8K训练集;最终答案分不保证每步论证正确 - [Program of Thoughts:外部计算接口(v4)](https://arxiv.org/html/2211.12588v4);所引用版本公开2023-10-23;阅读2026-10-15;状态active;§2.2;§3.1数据/实现/指标;§3.2表2;同底层模型改变提示与执行流程;未匹配完整延迟/预算;不是端到端财务工作通过率 - [RLVR答案覆盖研究(v5)](https://arxiv.org/html/2504.13837v5);所引用版本公开2025-11-24;阅读2026-10-15;状态active;§3设置;表2;附录C.7覆盖与C.8温度分析;有限采样只测答案命中;特定模型/任务结果不等于所有推理机制;不与另一论文合并效应 - [RLVR推理过程核验研究(v2)](https://arxiv.org/html/2506.14245v2);所引用版本公开2025-10-02;阅读2026-10-15;状态active;§3.1图2;§3.2图3;附录A.3裁判方法;推理过程由模型裁判判定,有any/all/majority规则;不是形式证明内核,图值未可靠转录则定性 - [数学训练迁移的Qwen3-14B比较(v2)](https://arxiv.org/html/2507.00432v2);所引用版本公开2025-10-20;阅读2026-10-16;状态active;表1;§2.2;附录A.3;训练问题相同不代表总算力相同;ACPBench并非真实工作交付
下载和复制不启动执行;实际完成后再填回执,未知保持未知。实际工作材料留在自己的工具中。
研究基准 · BM01
引用版本公开 2021-10-27 · 实际阅读 2026-10-14 · 保留引用
定位:§2数据;§4.2验证器;§4与附录C计算器。
英语小学应用题,计算器和多候选验证配置;不等于研究数学。
页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。
发布方基准 · BM02
引用版本公开 2023-03-15 · 实际阅读 2026-10-14 · 保留引用
定位:表2 GSM-8K;附录E训练集使用。
5-shot思维链,训练含部分GSM8K训练集;最终答案分不保证每步论证正确。
页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。
综述 · BS02
引用版本公开 2025-06-10 · 实际阅读 2026-10-14 · 保留引用
定位:§3推理组成;§4方法;§5–6局限。
综述用于任务框架与机制,不回填更早年份的已知成绩。
页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。
综述 · BS03
引用版本公开 2025-05-29 · 实际阅读 2026-10-14 · 保留引用
定位:formalization定义;评测/语义对齐讨论。
机器核查形式命题不保证与自然语言原问题等价。
页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。
数值任务研究预印本 · program-of-thoughts
引用版本公开 2023-10-23 · 实际阅读 2026-10-15 · 保留引用
定位:§2.2;§3.1数据/实现/指标;§3.2表2。
同底层模型改变提示与执行流程;未匹配完整延迟/预算;不是端到端财务工作通过率。
固定v4页首:2023-10-23;不把v4表格倒填v1;本轮直接核对所列原文位置/版本;未复跑外部实验。
推理评测研究预印本 · rlvr-answer-support
引用版本公开 2025-11-24 · 实际阅读 2026-10-15 · 保留引用
定位:§3设置;表2;附录C.7覆盖与C.8温度分析。
有限采样只测答案命中;特定模型/任务结果不等于所有推理机制;不与另一论文合并效应。
固定v5:2025-11-24;具体结论以所引用版本为准;本轮直接核对所列原文位置/版本;未复跑外部实验。
推理评测研究预印本 · rlvr-judged-traces
引用版本公开 2025-10-02 · 实际阅读 2026-10-15 · 保留引用
定位:§3.1图2;§3.2图3;附录A.3裁判方法。
推理过程由模型裁判判定,有any/all/majority规则;不是形式证明内核,图值未可靠转录则定性。
固定v2页首:2025-10-02;不倒填首次预印本日期;本轮直接核对所列原文位置/版本;未复跑外部实验。
训练方法研究预印本 · math-training-transfer
引用版本公开 2025-10-20 · 实际阅读 2026-10-16 · 保留引用
定位:表1;§2.2;附录A.3。
训练问题相同不代表总算力相同;ACPBench并非真实工作交付。
固定v2实际修订2025-10-20;v1发表于2025-07-01;本轮直接阅读所列原文和固定版本;未复跑外部实验。
现今补充 · 独立观察模块2026-10-19.observations.2;原前沿研究基准另行保留。
看使用和采用背景、固定测试条件与成本;读训练迁移和评测方法,再回到输入、交接与验收。
先确定消息、企业还是任务作为分母,再把观察带回自己的验收。
把题目/API费用、全部失败尝试、人工核验和最终交付放回同一个范围。
训练配比、相同后续训练和程序提示是三种不同干预,结论要各自保留。
先检查分母、评分量尺与模型配置,再理解增长和预测。
把记忆、组合、数学与信息处理需求展开,让工具选择和验收更具体。
M01
通过重复采样寻找正确答案;每次尝试与推理正确性需要另外核验。
最近材料 2025-11-24 · 人机协作人:核对单位、条件与每一步理由
卡片标签表示最近公开材料的性质,不是这个任务整体已能自动完成;历史能力并不因后来的限制记录被删除。
主轴按原始材料公开日期;实验/上线时点另列。历史空白仅表示本次未收录证据;后来的质疑不偷偷改写早期结果。
覆盖的含义:在指定输入、环境和验收下,材料支持AI参与哪些动作;未知比例保持null。
速度的含义:证据节点之间的日历间隔、流程交接变化;指标/样本/预算不一致时,不计算能力增长率或外推一年三年。
目的性选择三个领域的代表任务,不是穷尽检索或无偏职业采样;基础时间轴于2026-10-14核对,本次精选补充与证据截止2026-10-15,固定论文优先,不把动态榜排名倒填历史。
每个任务保留人的核验与决策;材料数量不等于独立实验数量,模型、Agent框架、重试预算和完整验收一并阅读。历史研究今天读取,不是当时保存的逐日网络档案。
逐项可查
任务切片 M01
任务验收:数字可重算;条件无遗漏;步骤与答案一致。
公开 2021-10-27 · 论文对照发现改进;本条未摘录数值通过率
GSM8K包含约8500道2–8步应用题;专门训练的验证器在多候选中选答案,比微调基线更有效。
工作含义:推导并非生成一次就可靠;候选与核对环节开始成为工作流。;依据:GSM8K:多步应用题与验证器
GSM8K包含约8500道2–8步应用题;专门训练的验证器在多候选中选答案,比微调基线更有效。
公开 2023-03-15 · 指定测试最终答案准确率
GPT-4首稿在GSM8K报告92.0%最终答案正确。
工作含义:可以让模型起草推导,再独立重算数字与步骤。;依据:GPT-4技术报告首稿
GPT-4首稿在GSM8K报告92.0%最终答案正确。
公开 2023-10-23 · 最终答案准确率,不是每条推导正确率
GSM8K测试1,318题;同一表2中Codex CoT 63.1%、PoT 71.6%,采用少样本贪心设置。
工作含义:数值答案可由执行器复算;题意到表达式的转换不因能运行而自动正确。;依据:Program of Thoughts:外部计算接口(v4)
GSM8K测试1,318题;同一表2中Codex CoT 63.1%、PoT 71.6%,采用少样本贪心设置。
公开 2025-10-02 · 最终答案与裁判接受的推理过程是不同目标
Wen等在Qwen2.5-32B/DAPO-Qwen-32B的AIME24/25配置中观察:高K下答案覆盖可接近,但裁判接受的过程覆盖仍有差距;只保留定性图结论。
工作含义:选择验收对象会改变所谓能力边界;需要核对过程和裁判可靠性。;依据:RLVR推理过程核验研究(v2)
Wen等在Qwen2.5-32B/DAPO-Qwen-32B的AIME24/25配置中观察:高K下答案覆盖可接近,但裁判接受的过程覆盖仍有差距;只保留定性图结论。
公开 2025-11-24 · Pass@K:K次中至少一次答案命中,不是单次或过程保证
Yue等在特定模型/题集上比较不同采样K的答案覆盖;高预算下基础模型与RLVR模型的覆盖可能接近。
工作含义:记录全部尝试和选答案成本,不能只展示最终成功的一次。;依据:RLVR答案覆盖研究(v5)
Yue等在特定模型/题集上比较不同采样K的答案覆盖;高预算下基础模型与RLVR模型的覆盖可能接近。
从工作证据继续到你的问题
编辑历史
工作建议变化和资料维护分开记录。没有可比运行时,不把页面更新称为AI能力进步。
系统交接增加跨应用状态核对、部分失败与恢复检查;这是方法建议,不是现场成功率提升。
主要参考单应用或较短操作任务
新增108个长流程任务与整题/部分评分
企业交付页加入状态恢复、跨来源核对和最终验收要求,仍不宣称现场采用已验证。
查看原始依据与限制 →Agent失败后保留轨迹与根因判断,分别验收诊断是否正确、修复是否有效。
仅从是否完成观察Agent表现
引入失败定位与根因分类证据
DEV-04增加失败轨迹审查;诊断增益与修复完成度分开展示。
查看原始依据与限制 →