W.AI工作标准面向个人与企业给我的 Agent
公开证据与条件建议;未测结果保留未知。方法与局限 →

证据时间轴 · 三领域试点

从财报取数并计算指标:证据与交接

让AI找数和写公式,让程序计算;你核对财年、单位、口径和原文。计算正确仍可能引用错数据。

2026-10
回到最新

拖动或使用方向键;月份按月末取证据,最新月份截至 2026-10-19。不做月份之间的成绩插值。

证据截止

2026-10-19

本次收录的公开节点

3 条

本试点聚焦取数、检索、会议和跨文件交付。预测与交易的真实净收益证据另设门槛,不能由文档分数推得。
1个代表任务切片;实际覆盖比例未知。节点数不是覆盖率或进步次数。

●限定评测 ◇产品流程 ■工作实验 ◆研究案例 △反例/测量受限。类型没有统一高低排名;同一任务允许同时有正面结果与限制。

任务定义、验收和术语是今天整理的对照框架;历史筛选只约束证据公开时间,不代表这些说明在当时已经存在。

公开、观察与整理,是三种时间

只画已公开节点;实验窗口仅在原文给出月份时示意。整理日不是能力发生日;靠近的公开点上下错开方便选择,纵向位置不表示能力高低。

选中任务的三轨日期材料公开日为离散点,已知观察月份为浅色范围,本页整理日为单独点;详细日期和未知在下方文字表。202120222023202420252026材料公开实验 / 观察本次整理2021-09-01 · 数字回答开始附可执行推理程序2023-10-23 · 把财报问答的计算交给Python2023-11-20 · 检索方式决定财报问答可靠性2023年11月测试;Appendix B仅给月份,具体日期未知;不是整月连续测量

检索方式决定财报问答可靠性

材料公开
实验 / 观察
2023年11月测试;Appendix B仅给月份,具体日期未知;不是整月连续测量
本次整理
2026-10-19;不替代运行或公开日期

当前证据截止 2026-10-19。月份范围不是每天的连续测量;没有实验日期的条目保持未知,不在观察轨制造点。

悬浮或键盘聚焦坐标点,先看核心信息;点击点位卡片,在详情区继续阅读。完整材料保留在下方。

先读懂这些词 · 术语速查
财报取数 / 可执行推理
从表格和文字找到数字、财年和单位,再生成可运行公式;算对答案不等于财务解释全部正确。
Agent框架 / 验收项
框架提供模型可调用的工具与流程;验收项逐条检查来源、数字、解释等要求。
宏平均 / 多数票
先计算每道题满足验收项的比例,再给每题同等权重平均;三个模型多数票不是专业人士审定。
CRM / 样本外净收益
CRM保存客户工作记录;样本外用未参与开发的数据检验,净收益还需扣除交易和运营成本。

具体工作 · F01 · 方法整理 2026-10-19

财报计算:把取数、运算、对账分别验收

让AI找数和写公式,让程序计算;你核对财年、单位、口径和原文。计算正确仍可能引用错数据。

公开财报问答支持数值步骤的方法参考;真实报表、研究报告和投资决定需各自验收。

把这项工作拆成可接收的交接

现今整理的方法示意;每个步骤的产物与核验是单独门槛,未执行AI任务。

  1. 人决定

    确认指标和资料

    锁定报告版本、财年、币种和指标定义。

    交付
    指标口径与允许资料
    接收门槛
    明确同比/环比及可比口径
    这一步的证据与编辑安排

    本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

  2. AI草拟

    提取数值与出处

    从给定资料列数值、单位和段落;找不到不猜。

    交付
    带页码/段落的取数表
    接收门槛
    每个数回到原文、财年/单位一致
    这一步的证据与编辑安排

    本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

    适用条件:相近问答中资料配置影响结果;没有验证本工作逐数核验。FinanceBench固定首稿 ↗ · FinanceBench指定配置实验

    背景/方法:相邻方法启示,未验证本站案例;原有现场研究及其条件保留。。JobBench:专业证据推理与委派偏好 ↗ · §2.1–2.3;附录E;§3.1

  3. 程序执行

    表达并执行公式

    核对公式后由计算工具执行,保留输入与过程。

    交付
    公式、计算输入与结果
    接收门槛
    程序结果可复算,异常输入另列
    这一步的证据与编辑安排

    本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

    有限直接支持:直接支持限定财报问答中外部程序计算的比较;不能扩大到取数与全报表。Program of Thoughts:外部计算接口(v4) ↗ · v4 表2 FinQA Codex少样本贪心

  4. 人核验

    对账后解释

    核对原文、公式和文字解释一致,再接收草稿。

    交付
    带引用解释与异常清单
    接收门槛
    没有来源或口径不一致时不交付
    这一步的证据与编辑安排

    本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

    背景/方法:工作簿产物和rubric提示完整交付检查范围;不是本例成绩。GDPval v2公开材料:虚构巡演损益表 ↗ · 固定revision,任务7b08cd4d…

先比较条件,再理解结果

每行保留自己的任务、指标与分母;相近和背景证据不能替代这项工作实测。

PoT同模型系统比较

部分覆盖
任务 / 样本
FinQA财报问答1,147测试题;非真实组织完整报表
工具 / 设置
Codex少样本贪心;CoT vs Python执行
答案指标40.4% → 64.5%

不是财报全流程通过率;CoT相对容差0.001;未匹配全部成本

Program of Thoughts:外部计算接口(v4) ↘

资料处理方式比较

相近问答
任务 / 样本
150题财务问答;公开问题集
工具 / 设置
同GPT4-Turbo:全360份文件共享检索库 vs 预先给定相关财报的长上下文;超限截断
正确答案计数同论文实验窗口配置29/150 vs 118/150

配置差异,不是两个年份能力进步;取数仍须核验

FinanceBench固定首稿 ↘

专业推理与委派偏好

adjacent:方法相邻,不是本任务完成率
任务 / 样本
多文件专业产物;作者实验;本站没有参与者或任务复跑
工具 / 设置
偏好用于选题;固定协议、材料和judge后评产物
本页不摘录分数;不与现有现场研究合并测专业推理能力,没有测员工实际省时或岗位替代

相邻方法启示,未验证本站案例;原有现场研究及其条件保留。

JobBench:专业证据推理与委派偏好 ↘

人工构造 · 未执行AI任务

收入、利润率与重述:短指标表

【虚构数字与报告,人工构造;未执行AI任务】
输入为两份资料A/B。报告A原列2024收入1200万元、营业利润120万元;报告B附注重述2024收入1250万元、营业利润125万元,并列2025收入1500万元、营业利润180万元。全部为同币种、同合并范围的示例假设。
指标 | 比较输入与出处 | 公式 | 结果与检查
收入增长 | 2024重述1250[B附注2];2025为1500[B表1] | (1500-1250)/1250 | 20%;不能误用A的1200算成25%
2024营业利润率 | 125/1250[B附注2] | 125/1250 | 10%
2025营业利润率 | 180/1500[B表1] | 180/1500 | 12%
利润率变化 | 12%与10% | 12%-10% | 增加2个百分点,不是增加2%
每行另填:真实文件版本、页码/表/脚注、期间、币种/单位、口径是否重述、核验人。实际材料没有对应数字时写未找到,不能沿用此例。

A/B报告、数字和页码全是构造。20%、25%、2个百分点仅为示例复算,不是模型成绩、真实公司或未来预测。

什么时候要停下来

把季度收入与全年收入相除

运算能执行,但比较口径不同。停止交付,核对期间后重新取数。

给出正确公式,却引用不存在的页码

计算可靠性不能证明资料真实性。逐个回到允许原文;无对应内容则写未找到。

忽略附注重述,仍用旧报告的分母

跨报告运算无错,却比较了不同口径。保留原值与重述值及出处;按目标口径重算并解释差异。

把利润率增加2个百分点写成增长2%

比例的差值与相对变化是不同指标。写明公式与单位,核对文字解释再交付。

材料期间或单位冲突,却直接合成结论

局部结果不足以证明完整交付合格。保留完整人时及原始依据,停止扩大委派并由人复核。

准备一个限定试点

两份允许使用的财报或同一报告的两期数据;锁定重述/合并范围,准备一张短指标表及出处/异常清单

先有基线:记录人独立取数/计算/引用核验所需时间和相同质量要求

  • 逐个数值/期间/单位能回到真实原文
  • 公式与程序输入、结果可复算
  • 引用、解释与异常列表一致

完整人时:活动人时:资料准备、活动人时:人工取数核验、活动人时:公式检查、活动人时:引用对账、活动人时:返工、活动人时:提示、交互与监督、活动人时:接管与适用的维护、另记:机器运行、等待及端到端历时;重叠活动不重复累计;若等待占用本人,注明计量约定分别记录,不能只看生成时长。

停止条件:来源无法核对、口径变更、异常被遗漏时,暂停解释与交付

查看准备材料与本地回执字段
# F01 财报计算:把取数、运算、对账分别验收:试点准备材料

模块 2026-10-19.boundary.1;方法整理 2026-10-19
证据状态 active;实际覆盖比例未知(null)
这是准备模板,不启动执行。

让AI找数和写公式,让程序计算;你核对财年、单位、口径和原文。计算正确仍可能引用错数据。
适配:公开财报问答支持数值步骤的方法参考;真实报表、研究报告和投资决定需各自验收。

## 交接与验收
1. 确认指标和资料(人决定):锁定报告版本、财年、币种和指标定义。
   产物:指标口径与允许资料
   门槛:明确同比/环比及可比口径
   编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。

2. 提取数值与出处(AI草拟):从给定资料列数值、单位和段落;找不到不猜。
   产物:带页码/段落的取数表
   门槛:每个数回到原文、财年/单位一致
   编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
   - 适用条件:相近问答中资料配置影响结果;没有验证本工作逐数核验;https://arxiv.org/html/2311.11944v1;FinanceBench指定配置实验
   - 背景/方法:相邻方法启示,未验证本站案例;原有现场研究及其条件保留。;https://arxiv.org/html/2605.26329v1;§2.1–2.3;附录E;§3.1
3. 表达并执行公式(程序执行):核对公式后由计算工具执行,保留输入与过程。
   产物:公式、计算输入与结果
   门槛:程序结果可复算,异常输入另列
   编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
   - 有限直接支持:直接支持限定财报问答中外部程序计算的比较;不能扩大到取数与全报表;https://arxiv.org/html/2211.12588v4;v4 表2 FinQA Codex少样本贪心
4. 对账后解释(人核验):核对原文、公式和文字解释一致,再接收草稿。
   产物:带引用解释与异常清单
   门槛:没有来源或口径不一致时不交付
   编辑安排:本步骤是本站为交付和接收提出的组织安排;没有本地逐步成功率。
   - 背景/方法:工作簿产物和rubric提示完整交付检查范围;不是本例成绩;https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md;固定revision,任务7b08cd4d…

## 人工构造、未执行AI任务的产物格式
【虚构数字与报告,人工构造;未执行AI任务】
输入为两份资料A/B。报告A原列2024收入1200万元、营业利润120万元;报告B附注重述2024收入1250万元、营业利润125万元,并列2025收入1500万元、营业利润180万元。全部为同币种、同合并范围的示例假设。
指标 | 比较输入与出处 | 公式 | 结果与检查
收入增长 | 2024重述1250[B附注2];2025为1500[B表1] | (1500-1250)/1250 | 20%;不能误用A的1200算成25%
2024营业利润率 | 125/1250[B附注2] | 125/1250 | 10%
2025营业利润率 | 180/1500[B表1] | 180/1500 | 12%
利润率变化 | 12%与10% | 12%-10% | 增加2个百分点,不是增加2%
每行另填:真实文件版本、页码/表/脚注、期间、币种/单位、口径是否重述、核验人。实际材料没有对应数字时写未找到,不能沿用此例。
A/B报告、数字和页码全是构造。20%、25%、2个百分点仅为示例复算,不是模型成绩、真实公司或未来预测。

## 失败与接管
- 把季度收入与全年收入相除:运算能执行,但比较口径不同。停止交付,核对期间后重新取数
- 给出正确公式,却引用不存在的页码:计算可靠性不能证明资料真实性。逐个回到允许原文;无对应内容则写未找到
- 忽略附注重述,仍用旧报告的分母:跨报告运算无错,却比较了不同口径。保留原值与重述值及出处;按目标口径重算并解释差异
- 把利润率增加2个百分点写成增长2%:比例的差值与相对变化是不同指标。写明公式与单位,核对文字解释再交付
- 材料期间或单位冲突,却直接合成结论:局部结果不足以证明完整交付合格。保留完整人时及原始依据,停止扩大委派并由人复核

## 限定试点
范围:两份允许使用的财报或同一报告的两期数据;锁定重述/合并范围,准备一张短指标表及出处/异常清单
基线:记录人独立取数/计算/引用核验所需时间和相同质量要求
验收:
- 逐个数值/期间/单位能回到真实原文
- 公式与程序输入、结果可复算
- 引用、解释与异常列表一致
分别记录人时:活动人时:资料准备;活动人时:人工取数核验;活动人时:公式检查;活动人时:引用对账;活动人时:返工;活动人时:提示、交互与监督;活动人时:接管与适用的维护;另记:机器运行、等待及端到端历时;重叠活动不重复累计;若等待占用本人,注明计量约定
停止:来源无法核对、口径变更、异常被遗漏时,暂停解释与交付

## 回执(实际发生后再填)
任务/版本/资料与环境:____
已授权范围与工具配置:____
实际输入/产物路径:____
全部尝试与逐项验收:____
最终接收/拒绝与接管:____
基线/准备/核验/返工人时:____
未知与未验证项:____
提示/交互/监督/接管/适用维护的活动人时;机器运行/等待/端到端历时及重叠计量约定:____
未经实际执行和逐项验收,状态保持未验证;默认本地保存,不上传。

## 条件比较
- PoT同模型系统比较(部分覆盖):FinQA财报问答1,147测试题;非真实组织完整报表
  设置:Codex少样本贪心;CoT vs Python执行
  答案指标:40.4% → 64.5%
  限制:不是财报全流程通过率;CoT相对容差0.001;未匹配全部成本
- 资料处理方式比较(相近问答):150题财务问答;公开问题集
  设置:同GPT4-Turbo:全360份文件共享检索库 vs 预先给定相关财报的长上下文;超限截断
  正确答案计数:同论文实验窗口配置29/150 vs 118/150
  限制:配置差异,不是两个年份能力进步;取数仍须核验
- 专业推理与委派偏好(adjacent:方法相邻,不是本任务完成率):多文件专业产物;作者实验;本站没有参与者或任务复跑
  设置:偏好用于选题;固定协议、材料和judge后评产物
  本页不摘录分数;不与现有现场研究合并:测专业推理能力,没有测员工实际省时或岗位替代
  限制:相邻方法启示,未验证本站案例;原有现场研究及其条件保留。

## 原始材料
- [FinQA固定首稿](https://arxiv.org/html/2109.00122v1);所引用版本公开2021-09-01;阅读2026-10-14;状态active;§3任务;§4.4数据切分;§6设置(BERT-base/top3)与§6.1表2(RoBERTa-large)。;65.05%为FinQANet执行准确率;91.16%专家参照不作同样本同预算受控增长比较
- [FinanceBench固定首稿](https://arxiv.org/html/2311.11944v1);所引用版本公开2023-11-20;阅读2026-10-15;状态active;§4配置及§4.1标注;§5表2(Shared Vector Store与Long Context)。 Appendix B(测试月份)。;150题公开子集;29/150与118/150是同论文实验窗口中的不同流程,不能画成时间进步
- [Program of Thoughts:外部计算接口(v4)](https://arxiv.org/html/2211.12588v4);所引用版本公开2023-10-23;阅读2026-10-15;状态active;§2.2;§3.1数据/实现/指标;§3.2表2;同底层模型改变提示与执行流程;未匹配完整延迟/预算;不是端到端财务工作通过率
- [GDPval v2公开材料:虚构巡演损益表](https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md);所引用版本公开2026-02-10;阅读2026-10-16;状态active;task_id 7b08cd4d-df60-41ae-9102-8aaa49306ba2;参考工作簿与rubric;会计产物与F01相邻,非真实上市公司财报;许可未明确,不复制材料或rubric;本站未执行
- [JobBench:专业证据推理与委派偏好](https://arxiv.org/html/2605.26329v1);所引用版本公开2026-05-25;阅读2026-10-19;状态active;§2.1–2.3;附录E;§3.1;偏好用于选题;基准没有测量员工采用、满意度或净省时。

下载和复制不启动执行;实际完成后再填回执,未知保持未知。实际工作材料留在自己的工具中。

读懂背后的方法与研究 →

沿原文核对条件与结果

研究基准 · BF01

FinQA固定首稿 ↗

引用版本公开 2021-09-01 · 实际阅读 2026-10-14 · 保留引用

定位:§3任务;§4.4数据切分;§6设置(BERT-base/top3)与§6.1表2(RoBERTa-large)。。

65.05%为FinQANet执行准确率;91.16%专家参照不作同样本同预算受控增长比较。

页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。

研究基准 · financebench

FinanceBench固定首稿 ↗

引用版本公开 2023-11-20 · 实际阅读 2026-10-15 · 保留引用

定位:§4配置及§4.1标注;§5表2(Shared Vector Store与Long Context)。 Appendix B(测试月份)。。

150题公开子集;29/150与118/150是同论文实验窗口中的不同流程,不能画成时间进步。

页面标示发布日期或固定预印本v1页首日期;2026-10-15直接复核§4/§5及Appendix B;未复跑实验。

综述 · BS01

金融NLP系统综述 ↗

引用版本公开 2025-04-09 · 实际阅读 2026-10-14 · 保留引用

定位:§2筛选;§3任务;§7.1指标与§7.2危机期间。

374候选/221金融任务论文;论文数不是能力分/真实交易净收益。

页面标示发布日期或固定预印本v1页首日期;本轮直接阅读所列原文位置;未复跑实验。

数值任务研究预印本 · program-of-thoughts

Program of Thoughts:外部计算接口(v4) ↗

引用版本公开 2023-10-23 · 实际阅读 2026-10-15 · 保留引用

定位:§2.2;§3.1数据/实现/指标;§3.2表2。

同底层模型改变提示与执行流程;未匹配完整延迟/预算;不是端到端财务工作通过率。

固定v4页首:2023-10-23;不把v4表格倒填v1;本轮直接核对所列原文位置/版本;未复跑外部实验。

固定数据集工作材料 · gdpval-v2-material

GDPval v2公开材料:虚构巡演损益表 ↗

引用版本公开 2026-02-10 · 实际阅读 2026-10-16 · 保留引用

定位:task_id 7b08cd4d-df60-41ae-9102-8aaa49306ba2;参考工作簿与rubric。

会计产物与F01相邻,非真实上市公司财报;许可未明确,不复制材料或rubric;本站未执行。

2026-02-10是固定revision发布日期,单项任务首次公开时间未知;本轮直接阅读所列原文和固定版本;未复跑外部实验。

论文 · JobBench

JobBench:专业证据推理与委派偏好 ↗

引用版本公开 2026-05-25 · 实际阅读 2026-10-19 · 保留引用

定位:§2.1–2.3;附录E;§3.1。

偏好用于选题;基准没有测量员工采用、满意度或净省时。。

arXiv固定v1公开日期;本轮实际阅读指定方法段落,未复跑。

用研究理解工作,再决定下一步

现今补充 · 独立观察模块2026-10-19.observations.2;原前沿研究基准另行保留。

看使用和采用背景、固定测试条件与成本;读训练迁移和评测方法,再回到输入、交接与验收。

使用与采用观察 → · 固定能力测试 → · 成本背景 →

F01

从财报取数并计算指标 ↘

● 限定评测

模型从财报回答问题;同150题的正确数因资料流程不同为29或118。

最近材料 2023-11-20 · 限定输入下由系统执行

人:核对单位、财年、重述与会计口径

卡片标签表示最近公开材料的性质,不是这个任务整体已能自动完成;历史能力并不因后来的限制记录被删除。

怎样读这个时间轴

主轴按原始材料公开日期;实验/上线时点另列。历史空白仅表示本次未收录证据;后来的质疑不偷偷改写早期结果。

覆盖的含义:在指定输入、环境和验收下,材料支持AI参与哪些动作;未知比例保持null。

速度的含义:证据节点之间的日历间隔、流程交接变化;指标/样本/预算不一致时,不计算能力增长率或外推一年三年。

目的性选择三个领域的代表任务,不是穷尽检索或无偏职业采样;基础时间轴于2026-10-14核对,本次精选补充与证据截止2026-10-15,固定论文优先,不把动态榜排名倒填历史。

每个任务保留人的核验与决策;材料数量不等于独立实验数量,模型、Agent框架、重试预算和完整验收一并阅读。历史研究今天读取,不是当时保存的逐日网络档案。

逐项可查

任务、条件与原始证据

领域概念与前沿 →

任务切片 F01

从财报取数并计算指标

输入
财报表格/文字、财年与问题
交付
数值、公式和页码依据
人继续负责
核对单位、财年、重述与会计口径
证据适配
FinQA、FinanceBench的限定公开问题;企业私有报表效果未知

任务验收:每个输入能定位原文;公式可复算;财年/币种一致。

公开 2021-09-01 · 1147题测试集执行答案准确率;不是8281题全量测量或通用财报分析通过率

数字回答开始附可执行推理程序

FinQA共8281个专家标注问题,其中1147题为测试集。FinQANet(RoBERTa-large)检索文字与表格并生成可执行计算程序,测试执行准确率65.05%。

工作含义:取数、公式和计算可分别核对;这条路径早于通用生成式Agent。;依据:FinQA固定首稿

● 限定评测

数字回答开始附可执行推理程序

FinQA共8281个专家标注问题,其中1147题为测试集。FinQANet(RoBERTa-large)检索文字与表格并生成可执行计算程序,测试执行准确率65.05%。

配置 / 输入
固定首稿的1147题测试集、规则表格布局;BERT-base检索器取排名前3条事实,RoBERTa-large程序生成编码器。
衡量什么
1147题测试集执行答案准确率;不是8281题全量测量或通用财报分析通过率
事件 / 运行
原文未给精确运行日期;上方为材料公开日
对任务意味着
取数、公式和计算可分别核对;这条路径早于通用生成式Agent。
比较条件
任务/配置或指标不同,不计算统一增长率
限制
不是65%的财务工作自动化;专家参照与模型不是同预算增长序列。

公开 2023-10-23 · 财报问答答案指标;CoT使用相对容差0.001,非完整报告验收

把财报问答的计算交给Python

FinQA测试1,147题;表2同一Codex底层模型的少样本贪心结果为CoT 40.4%、PoT 64.5%。

工作含义:可计算步骤有外部执行接口,但正确运算仍可能基于错误取数。;依据:Program of Thoughts:外部计算接口(v4)

● 限定评测

把财报问答的计算交给Python

FinQA测试1,147题;表2同一Codex底层模型的少样本贪心结果为CoT 40.4%、PoT 64.5%。

配置 / 输入
code-davinci-002;Python3.8/SymPy;按数据集使用4–8示例;比较不同提示/执行系统
衡量什么
财报问答答案指标;CoT使用相对容差0.001,非完整报告验收
事件 / 运行
原文未给精确运行日期;上方为材料公开日
对任务意味着
可计算步骤有外部执行接口,但正确运算仍可能基于错误取数。
比较条件
只解释这一来源/任务/配置;不与其他题集连成增长曲线
限制
历史模型和限定问答;不是现场报表流程、审查人时或岗位覆盖。

公开 2023-11-20 · 人工核对的正确回答数;包含逻辑与计算依据检查

检索方式决定财报问答可靠性

FinanceBench公开150题中,GPT-4-Turbo共享向量库29/150答对;整份财报长上下文118/150答对。

工作含义:这组实验中,同一模型因资料处理方式不同表现悬殊;实际使用时仍要核对材料、页码与口径。;依据:FinanceBench固定首稿

● 限定评测

检索方式决定财报问答可靠性

FinanceBench公开150题中,GPT-4-Turbo共享向量库29/150答对;整份财报长上下文118/150答对。

配置 / 输入
同一论文不同配置;长文档超限时截断至约95k–100k tokens
衡量什么
人工核对的正确回答数;包含逻辑与计算依据检查
事件 / 运行
2023年11月测试;Appendix B仅给月份,具体日期未知;不是整月连续测量
对任务意味着
这组实验中,同一模型因资料处理方式不同表现悬殊;实际使用时仍要核对材料、页码与口径。
比较条件
同一150题的配置差异可比较;不能当历史增长
限制
这是同论文、同实验窗口中的配置比较,不是两次时间节点的增长。

从工作证据继续到你的问题

从“把数算对”走到“给出可追溯的判断”:比较资料与报表准备、经营分析两类职责,并核对真实岗位的业务要求。

网站维护记录

领域前沿、任务影响与预测变化 → · 订阅前沿变化

编辑历史

这些是网站记录的修订

工作建议变化和资料维护分开记录。没有可比运行时,不把页面更新称为AI能力进步。

订阅:Atom · JSON

资料维护来源核查

DABstep区分已验证与未验证结果

对工作的影响

使用数据分析证据时,先核对榜单验证状态;继续按本地业务门槛验收,不因榜单维护状态改变委派范围。

原依据 / 条件

介绍页的早期结果容易被误作当前能力

新依据 / 条件

已验证榜单暂停新增验证;v2待发布

只引用具体结果状态和日期;没有取到可靠最新数值时保留原始入口。日期为本站核查日。

查看原始依据与限制 →
资料维护来源核查

营销自测保留可复核性缺口

对工作的影响

将营销供应商自测作为补充线索;验收标准不因自报分数而降低。等待可访问的任务和运行记录再评估支持力度。

原依据 / 条件

官网宣称任务、评分与原始运行已公开

新依据 / 条件

本轮访问所链仓库返回404

自测结果附明显限制,不升级为独立验证;后续重查公开资产。日期为本站核查日。

查看原始依据与限制 →
资料维护评测修订

SWE-Bench Pro修订任务与运行协议

对工作的影响

在软件回执中记录V2与运行协议;与旧版比较前先检查任务集合和配置。

原依据 / 条件

旧公开集731题

新依据 / 条件

V2为642题,修正任务并锁定协议

开发任务保留基准版本。旧版与新版成绩分开解释,不自动认定能力回退或进步。

查看原始依据与限制 →
工作建议变化新增工作流

OSWorld 2.0补充长流程与跨应用证据

对工作的影响

系统交接增加跨应用状态核对、部分失败与恢复检查;这是方法建议,不是现场成功率提升。

原依据 / 条件

主要参考单应用或较短操作任务

新依据 / 条件

新增108个长流程任务与整题/部分评分

企业交付页加入状态恢复、跨来源核对和最终验收要求,仍不宣称现场采用已验证。

查看原始依据与限制 →
工作建议变化新增方法

失败诊断也有可引用的评测

对工作的影响

Agent失败后保留轨迹与根因判断,分别验收诊断是否正确、修复是否有效。

原依据 / 条件

仅从是否完成观察Agent表现

新依据 / 条件

引入失败定位与根因分类证据

DEV-04增加失败轨迹审查;诊断增益与修复完成度分开展示。

查看原始依据与限制 →