数字回答开始附可执行推理程序
- 材料公开
- 实验 / 观察
- 原文未给具体运行日期
- 本次整理
- 2026-10-19;不替代运行或公开日期
证据时间轴 · 三领域试点
让AI找数和写公式,让程序计算;你核对财年、单位、口径和原文。计算正确仍可能引用错数据。
证据截止
2026-10-19本次收录的公开节点
3 条本试点聚焦取数、检索、会议和跨文件交付。预测与交易的真实净收益证据另设门槛,不能由文档分数推得。
1个代表任务切片;实际覆盖比例未知。节点数不是覆盖率或进步次数。
●限定评测 ◇产品流程 ■工作实验 ◆研究案例 △反例/测量受限。类型没有统一高低排名;同一任务允许同时有正面结果与限制。
任务定义、验收和术语是今天整理的对照框架;历史筛选只约束证据公开时间,不代表这些说明在当时已经存在。
只画已公开节点;实验窗口仅在原文给出月份时示意。整理日不是能力发生日;靠近的公开点上下错开方便选择,纵向位置不表示能力高低。
当前证据截止 2026-10-19。月份范围不是每天的连续测量;没有实验日期的条目保持未知,不在观察轨制造点。
悬浮或键盘聚焦坐标点,先看核心信息;点击点位卡片,在详情区继续阅读。完整材料保留在下方。
具体工作 · F01 · 方法整理 2026-10-19
让AI找数和写公式,让程序计算;你核对财年、单位、口径和原文。计算正确仍可能引用错数据。
公开财报问答支持数值步骤的方法参考;真实报表、研究报告和投资决定需各自验收。
现今整理的方法示意;每个步骤的产物与核验是单独门槛,未执行AI任务。
锁定报告版本、财年、币种和指标定义。
本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
从给定资料列数值、单位和段落;找不到不猜。
本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
适用条件:相近问答中资料配置影响结果;没有验证本工作逐数核验。FinanceBench固定首稿 ↗ · FinanceBench指定配置实验
背景/方法:相邻方法启示,未验证本站案例;原有现场研究及其条件保留。。JobBench:专业证据推理与委派偏好 ↗ · §2.1–2.3;附录E;§3.1
核对公式后由计算工具执行,保留输入与过程。
本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
有限直接支持:直接支持限定财报问答中外部程序计算的比较;不能扩大到取数与全报表。Program of Thoughts:外部计算接口(v4) ↗ · v4 表2 FinQA Codex少样本贪心
核对原文、公式和文字解释一致,再接收草稿。
本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
背景/方法:工作簿产物和rubric提示完整交付检查范围;不是本例成绩。GDPval v2公开材料:虚构巡演损益表 ↗ · 固定revision,任务7b08cd4d…
每行保留自己的任务、指标与分母;相近和背景证据不能替代这项工作实测。
不是财报全流程通过率;CoT相对容差0.001;未匹配全部成本
Program of Thoughts:外部计算接口(v4) ↘配置差异,不是两个年份能力进步;取数仍须核验
FinanceBench固定首稿 ↘相邻方法启示,未验证本站案例;原有现场研究及其条件保留。
JobBench:专业证据推理与委派偏好 ↘人工构造 · 未执行AI任务
【虚构数字与报告,人工构造;未执行AI任务】 输入为两份资料A/B。报告A原列2024收入1200万元、营业利润120万元;报告B附注重述2024收入1250万元、营业利润125万元,并列2025收入1500万元、营业利润180万元。全部为同币种、同合并范围的示例假设。 指标 | 比较输入与出处 | 公式 | 结果与检查 收入增长 | 2024重述1250[B附注2];2025为1500[B表1] | (1500-1250)/1250 | 20%;不能误用A的1200算成25% 2024营业利润率 | 125/1250[B附注2] | 125/1250 | 10% 2025营业利润率 | 180/1500[B表1] | 180/1500 | 12% 利润率变化 | 12%与10% | 12%-10% | 增加2个百分点,不是增加2% 每行另填:真实文件版本、页码/表/脚注、期间、币种/单位、口径是否重述、核验人。实际材料没有对应数字时写未找到,不能沿用此例。
A/B报告、数字和页码全是构造。20%、25%、2个百分点仅为示例复算,不是模型成绩、真实公司或未来预测。
运算能执行,但比较口径不同。停止交付,核对期间后重新取数。
计算可靠性不能证明资料真实性。逐个回到允许原文;无对应内容则写未找到。
跨报告运算无错,却比较了不同口径。保留原值与重述值及出处;按目标口径重算并解释差异。
比例的差值与相对变化是不同指标。写明公式与单位,核对文字解释再交付。
局部结果不足以证明完整交付合格。保留完整人时及原始依据,停止扩大委派并由人复核。
两份允许使用的财报或同一报告的两期数据;锁定重述/合并范围,准备一张短指标表及出处/异常清单
先有基线:记录人独立取数/计算/引用核验所需时间和相同质量要求
完整人时:活动人时:资料准备、活动人时:人工取数核验、活动人时:公式检查、活动人时:引用对账、活动人时:返工、活动人时:提示、交互与监督、活动人时:接管与适用的维护、另记:机器运行、等待及端到端历时;重叠活动不重复累计;若等待占用本人,注明计量约定分别记录,不能只看生成时长。
停止条件:来源无法核对、口径变更、异常被遗漏时,暂停解释与交付
# F01 财报计算:把取数、运算、对账分别验收:试点准备材料 模块 2026-10-19.boundary.1;方法整理 2026-10-19 证据状态 active;实际覆盖比例未知(null) 这是准备模板,不启动执行。 让AI找数和写公式,让程序计算;你核对财年、单位、口径和原文。计算正确仍可能引用错数据。 适配:公开财报问答支持数值步骤的方法参考;真实报表、研究报告和投资决定需各自验收。 ## 交接与验收 1. 确认指标和资料(人决定):锁定报告版本、财年、币种和指标定义。 产物:指标口径与允许资料 门槛:明确同比/环比及可比口径 编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。 2. 提取数值与出处(AI草拟):从给定资料列数值、单位和段落;找不到不猜。 产物:带页码/段落的取数表 门槛:每个数回到原文、财年/单位一致 编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。 - 适用条件:相近问答中资料配置影响结果;没有验证本工作逐数核验;https://arxiv.org/html/2311.11944v1;FinanceBench指定配置实验 - 背景/方法:相邻方法启示,未验证本站案例;原有现场研究及其条件保留。;https://arxiv.org/html/2605.26329v1;§2.1–2.3;附录E;§3.1 3. 表达并执行公式(程序执行):核对公式后由计算工具执行,保留输入与过程。 产物:公式、计算输入与结果 门槛:程序结果可复算,异常输入另列 编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。 - 有限直接支持:直接支持限定财报问答中外部程序计算的比较;不能扩大到取数与全报表;https://arxiv.org/html/2211.12588v4;v4 表2 FinQA Codex少样本贪心 4. 对账后解释(人核验):核对原文、公式和文字解释一致,再接收草稿。 产物:带引用解释与异常清单 门槛:没有来源或口径不一致时不交付 编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。 - 背景/方法:工作簿产物和rubric提示完整交付检查范围;不是本例成绩;https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md;固定revision,任务7b08cd4d… ## 人工构造、未执行AI任务的产物格式 【虚构数字与报告,人工构造;未执行AI任务】 输入为两份资料A/B。报告A原列2024收入1200万元、营业利润120万元;报告B附注重述2024收入1250万元、营业利润125万元,并列2025收入1500万元、营业利润180万元。全部为同币种、同合并范围的示例假设。 指标 | 比较输入与出处 | 公式 | 结果与检查 收入增长 | 2024重述1250[B附注2];2025为1500[B表1] | (1500-1250)/1250 | 20%;不能误用A的1200算成25% 2024营业利润率 | 125/1250[B附注2] | 125/1250 | 10% 2025营业利润率 | 180/1500[B表1] | 180/1500 | 12% 利润率变化 | 12%与10% | 12%-10% | 增加2个百分点,不是增加2% 每行另填:真实文件版本、页码/表/脚注、期间、币种/单位、口径是否重述、核验人。实际材料没有对应数字时写未找到,不能沿用此例。 A/B报告、数字和页码全是构造。20%、25%、2个百分点仅为示例复算,不是模型成绩、真实公司或未来预测。 ## 失败与接管 - 把季度收入与全年收入相除:运算能执行,但比较口径不同。停止交付,核对期间后重新取数 - 给出正确公式,却引用不存在的页码:计算可靠性不能证明资料真实性。逐个回到允许原文;无对应内容则写未找到 - 忽略附注重述,仍用旧报告的分母:跨报告运算无错,却比较了不同口径。保留原值与重述值及出处;按目标口径重算并解释差异 - 把利润率增加2个百分点写成增长2%:比例的差值与相对变化是不同指标。写明公式与单位,核对文字解释再交付 - 材料期间或单位冲突,却直接合成结论:局部结果不足以证明完整交付合格。保留完整人时及原始依据,停止扩大委派并由人复核 ## 限定试点 范围:两份允许使用的财报或同一报告的两期数据;锁定重述/合并范围,准备一张短指标表及出处/异常清单 基线:记录人独立取数/计算/引用核验所需时间和相同质量要求 验收: - 逐个数值/期间/单位能回到真实原文 - 公式与程序输入、结果可复算 - 引用、解释与异常列表一致 分别记录人时:活动人时:资料准备;活动人时:人工取数核验;活动人时:公式检查;活动人时:引用对账;活动人时:返工;活动人时:提示、交互与监督;活动人时:接管与适用的维护;另记:机器运行、等待及端到端历时;重叠活动不重复累计;若等待占用本人,注明计量约定 停止:来源无法核对、口径变更、异常被遗漏时,暂停解释与交付 ## 回执(实际发生后再填) 任务/版本/资料与环境:____ 已授权范围与工具配置:____ 实际输入/产物路径:____ 全部尝试与逐项验收:____ 最终接收/拒绝与接管:____ 基线/准备/核验/返工人时:____ 未知与未验证项:____ 提示/交互/监督/接管/适用维护的活动人时;机器运行/等待/端到端历时及重叠计量约定:____ 未经实际执行和逐项验收,状态保持未验证;默认本地保存,不上传。 ## 条件比较 - PoT同模型系统比较(部分覆盖):FinQA财报问答1,147测试题;非真实组织完整报表 设置:Codex少样本贪心;CoT vs Python执行 答案指标:40.4% → 64.5% 限制:不是财报全流程通过率;CoT相对容差0.001;未匹配全部成本 - 资料处理方式比较(相近问答):150题财务问答;公开问题集 设置:同GPT4-Turbo:全360份文件共享检索库 vs 预先给定相关财报的长上下文;超限截断 正确答案计数:同论文实验窗口配置29/150 vs 118/150 限制:配置差异,不是两个年份能力进步;取数仍须核验 - 专业推理与委派偏好(adjacent:方法相邻,不是本任务完成率):多文件专业产物;作者实验;本站没有参与者或任务复跑 设置:偏好用于选题;固定协议、材料和judge后评产物 本页不摘录分数;不与现有现场研究合并:测专业推理能力,没有测员工实际省时或岗位替代 限制:相邻方法启示,未验证本站案例;原有现场研究及其条件保留。 ## 原始材料 - [FinQA固定首稿](https://arxiv.org/html/2109.00122v1);所引用版本公开2021-09-01;阅读2026-10-14;状态active;§3任务;§4.4数据切分;§6设置(BERT-base/top3)与§6.1表2(RoBERTa-large)。;65.05%为FinQANet执行准确率;91.16%专家参照不作同样本同预算受控增长比较 - [FinanceBench固定首稿](https://arxiv.org/html/2311.11944v1);所引用版本公开2023-11-20;阅读2026-10-15;状态active;§4配置及§4.1标注;§5表2(Shared Vector Store与Long Context)。 Appendix B(测试月份)。;150题公开子集;29/150与118/150是同论文实验窗口中的不同流程,不能画成时间进步 - [Program of Thoughts:外部计算接口(v4)](https://arxiv.org/html/2211.12588v4);所引用版本公开2023-10-23;阅读2026-10-15;状态active;§2.2;§3.1数据/实现/指标;§3.2表2;同底层模型改变提示与执行流程;未匹配完整延迟/预算;不是端到端财务工作通过率 - [GDPval v2公开材料:虚构巡演损益表](https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md);所引用版本公开2026-02-10;阅读2026-10-16;状态active;task_id 7b08cd4d-df60-41ae-9102-8aaa49306ba2;参考工作簿与rubric;会计产物与F01相邻,非真实上市公司财报;许可未明确,不复制材料或rubric;本站未执行 - [JobBench:专业证据推理与委派偏好](https://arxiv.org/html/2605.26329v1);所引用版本公开2026-05-25;阅读2026-10-19;状态active;§2.1–2.3;附录E;§3.1;偏好用于选题;基准没有测量员工采用、满意度或净省时。
下载和复制不启动执行;实际完成后再填回执,未知保持未知。实际工作材料留在自己的工具中。
研究基准 · BF01
引用版本公开 2021-09-01 · 实际阅读 2026-10-14 · 保留引用
定位:§3任务;§4.4数据切分;§6设置(BERT-base/top3)与§6.1表2(RoBERTa-large)。。
65.05%为FinQANet执行准确率;91.16%专家参照不作同样本同预算受控增长比较。
页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。
研究基准 · financebench
引用版本公开 2023-11-20 · 实际阅读 2026-10-15 · 保留引用
定位:§4配置及§4.1标注;§5表2(Shared Vector Store与Long Context)。 Appendix B(测试月份)。。
150题公开子集;29/150与118/150是同论文实验窗口中的不同流程,不能画成时间进步。
页面标示发布日期或固定预印本v1页首日期;2026-10-15直接复核§4/§5及Appendix B;未复跑实验。
综述 · BS01
引用版本公开 2025-04-09 · 实际阅读 2026-10-14 · 保留引用
定位:§2筛选;§3任务;§7.1指标与§7.2危机期间。
374候选/221金融任务论文;论文数不是能力分/真实交易净收益。
页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。
数值任务研究预印本 · program-of-thoughts
引用版本公开 2023-10-23 · 实际阅读 2026-10-15 · 保留引用
定位:§2.2;§3.1数据/实现/指标;§3.2表2。
同底层模型改变提示与执行流程;未匹配完整延迟/预算;不是端到端财务工作通过率。
固定v4页首:2023-10-23;不把v4表格倒填v1;本轮直接核对所列原文位置/版本;未复跑外部实验。
固定数据集工作材料 · gdpval-v2-material
引用版本公开 2026-02-10 · 实际阅读 2026-10-16 · 保留引用
定位:task_id 7b08cd4d-df60-41ae-9102-8aaa49306ba2;参考工作簿与rubric。
会计产物与F01相邻,非真实上市公司财报;许可未明确,不复制材料或rubric;本站未执行。
2026-02-10是固定revision发布日期,单项任务首次公开时间未知;本轮直接阅读所列原文和固定版本;未复跑外部实验。
论文 · JobBench
引用版本公开 2026-05-25 · 实际阅读 2026-10-19 · 保留引用
定位:§2.1–2.3;附录E;§3.1。
偏好用于选题;基准没有测量员工采用、满意度或净省时。。
arXiv固定v1公开日期;本轮实际阅读指定方法段落,未复跑。
现今补充 · 独立观察模块2026-10-19.observations.2;原前沿研究基准另行保留。
看使用和采用背景、固定测试条件与成本;读训练迁移和评测方法,再回到输入、交接与验收。
JobBench把委派偏好带入专业任务选题;能力、人的意愿、实际省时和岗位变化仍需分别核对。
Harness²研究工具、技能、检查脚本和运行规则的改进;行为变了仍需核验产物与全部成本。
用模型、运行系统、业务环境和验收四个环节,组织职业作品与团队取舍;这是编辑方法,不是厂商排名。
先确定消息、企业还是任务作为分母,再把观察带回自己的验收。
把题目/API费用、全部失败尝试、人工核验和最终交付放回同一个范围。
训练配比、相同后续训练和程序提示是三种不同干预,结论要各自保留。
把记忆、组合、数学与信息处理需求展开,让工具选择和验收更具体。
F01
模型从财报回答问题;同150题的正确数因资料流程不同为29或118。
最近材料 2023-11-20 · 限定输入下由系统执行人:核对单位、财年、重述与会计口径
卡片标签表示最近公开材料的性质,不是这个任务整体已能自动完成;历史能力并不因后来的限制记录被删除。
主轴按原始材料公开日期;实验/上线时点另列。历史空白仅表示本次未收录证据;后来的质疑不偷偷改写早期结果。
覆盖的含义:在指定输入、环境和验收下,材料支持AI参与哪些动作;未知比例保持null。
速度的含义:证据节点之间的日历间隔、流程交接变化;指标/样本/预算不一致时,不计算能力增长率或外推一年三年。
目的性选择三个领域的代表任务,不是穷尽检索或无偏职业采样;基础时间轴于2026-10-14核对,本次精选补充与证据截止2026-10-15,固定论文优先,不把动态榜排名倒填历史。
每个任务保留人的核验与决策;材料数量不等于独立实验数量,模型、Agent框架、重试预算和完整验收一并阅读。历史研究今天读取,不是当时保存的逐日网络档案。
逐项可查
任务切片 F01
任务验收:每个输入能定位原文;公式可复算;财年/币种一致。
公开 2021-09-01 · 1147题测试集执行答案准确率;不是8281题全量测量或通用财报分析通过率
FinQA共8281个专家标注问题,其中1147题为测试集。FinQANet(RoBERTa-large)检索文字与表格并生成可执行计算程序,测试执行准确率65.05%。
工作含义:取数、公式和计算可分别核对;这条路径早于通用生成式Agent。;依据:FinQA固定首稿
FinQA共8281个专家标注问题,其中1147题为测试集。FinQANet(RoBERTa-large)检索文字与表格并生成可执行计算程序,测试执行准确率65.05%。
公开 2023-10-23 · 财报问答答案指标;CoT使用相对容差0.001,非完整报告验收
FinQA测试1,147题;表2同一Codex底层模型的少样本贪心结果为CoT 40.4%、PoT 64.5%。
工作含义:可计算步骤有外部执行接口,但正确运算仍可能基于错误取数。;依据:Program of Thoughts:外部计算接口(v4)
FinQA测试1,147题;表2同一Codex底层模型的少样本贪心结果为CoT 40.4%、PoT 64.5%。
公开 2023-11-20 · 人工核对的正确回答数;包含逻辑与计算依据检查
FinanceBench公开150题中,GPT-4-Turbo共享向量库29/150答对;整份财报长上下文118/150答对。
工作含义:这组实验中,同一模型因资料处理方式不同表现悬殊;实际使用时仍要核对材料、页码与口径。;依据:FinanceBench固定首稿
FinanceBench公开150题中,GPT-4-Turbo共享向量库29/150答对;整份财报长上下文118/150答对。
从工作证据继续到你的问题
编辑历史
工作建议变化和资料维护分开记录。没有可比运行时,不把页面更新称为AI能力进步。
使用数据分析证据时,先核对榜单验证状态;继续按本地业务门槛验收,不因榜单维护状态改变委派范围。
介绍页的早期结果容易被误作当前能力
已验证榜单暂停新增验证;v2待发布
只引用具体结果状态和日期;没有取到可靠最新数值时保留原始入口。日期为本站核查日。
查看原始依据与限制 →将营销供应商自测作为补充线索;验收标准不因自报分数而降低。等待可访问的任务和运行记录再评估支持力度。
官网宣称任务、评分与原始运行已公开
本轮访问所链仓库返回404
自测结果附明显限制,不升级为独立验证;后续重查公开资产。日期为本站核查日。
查看原始依据与限制 →在软件回执中记录V2与运行协议;与旧版比较前先检查任务集合和配置。
旧公开集731题
V2为642题,修正任务并锁定协议
开发任务保留基准版本。旧版与新版成绩分开解释,不自动认定能力回退或进步。
查看原始依据与限制 →