财报计算:把取数、运算、对账分别验收 →
让AI找数和写公式,让程序计算;你核对财年、单位、口径和原文。计算正确仍可能引用错数据。
证据时间轴 · 三领域试点
从代码片段到待审代码变更(PR),从数字答案到可检查证明,从财报问答到多步金融研究。每一个变化,都回到它的任务、条件和原始材料。
证据截止
2026-10-19本次收录的公开节点
7 条本试点聚焦取数、检索、会议和跨文件交付。预测与交易的真实净收益证据另设门槛,不能由文档分数推得。
5个代表任务切片;实际覆盖比例未知。节点数不是覆盖率或进步次数。
●限定评测 ◇产品流程 ■工作实验 ◆研究案例 △反例/测量受限。类型没有统一高低排名;同一任务允许同时有正面结果与限制。
任务定义、验收和术语是今天整理的对照框架;历史筛选只约束证据公开时间,不代表这些说明在当时已经存在。
悬浮或键盘聚焦坐标点,先看核心信息;点击点位卡片,在详情区继续阅读。完整材料保留在下方。
让AI找数和写公式,让程序计算;你核对财年、单位、口径和原文。计算正确仍可能引用错数据。
F01
模型从财报回答问题;同150题的正确数因资料流程不同为29或118。
最近材料 2023-11-20 · 限定输入下由系统执行人:核对单位、财年、重述与会计口径
F02
系统多轮检索和组合研究材料;最高内部配置的验收项满足比例等权平均56.0%。
最近材料 2026-08-12 · 限定输入下由系统执行人:核对时点、原文、遗漏与解释
F03
产品在客户同意后起草纪要、行动项、跟进邮件并记录CRM。
最近材料 2024-06-26 · 人机协作人:取得已有同意、修订并决定发送
F04
终端Agent生成投行表格、幻灯片与备忘录;指定专业评审中无可直接发送档。
最近材料 2026-04-13 · 限定输入下由系统执行人:审查公式、假设、客户要求与发送
F05
这个时间点尚未收录适配证据
卡片标签表示最近公开材料的性质,不是这个任务整体已能自动完成;历史能力并不因后来的限制记录被删除。
看发展速度 · 看交接怎样变
FrontierFinance含220查询、11543条附来源的验收项;Samaya高努力内部Agent框架宏平均56.0%,Fable5+Finance Agent v2为49.2%。
后来条件 ↘两份材料相隔 996 天日历间隔,不是能力倍增时间
测试越来越接近研究流程,衡量对象也从单个答案变成来源、数值与分析条款。覆盖的动作变多,不等于最终报告已可交付。
主轴按原始材料公开日期;实验/上线时点另列。历史空白仅表示本次未收录证据;后来的质疑不偷偷改写早期结果。
覆盖的含义:在指定输入、环境和验收下,材料支持AI参与哪些动作;未知比例保持null。
速度的含义:证据节点之间的日历间隔、流程交接变化;指标/样本/预算不一致时,不计算能力增长率或外推一年三年。
目的性选择三个领域的代表任务,不是穷尽检索或无偏职业采样;基础时间轴于2026-10-14核对,本次精选补充与证据截止2026-10-15,固定论文优先,不把动态榜排名倒填历史。
每个任务保留人的核验与决策;材料数量不等于独立实验数量,模型、Agent框架、重试预算和完整验收一并阅读。历史研究今天读取,不是当时保存的逐日网络档案。
逐项可查
任务切片 F01
任务验收:每个输入能定位原文;公式可复算;财年/币种一致。
公开 2021-09-01 · 1147题测试集执行答案准确率;不是8281题全量测量或通用财报分析通过率
FinQA共8281个专家标注问题,其中1147题为测试集。FinQANet(RoBERTa-large)检索文字与表格并生成可执行计算程序,测试执行准确率65.05%。
工作含义:取数、公式和计算可分别核对;这条路径早于通用生成式Agent。;依据:FinQA固定首稿
FinQA共8281个专家标注问题,其中1147题为测试集。FinQANet(RoBERTa-large)检索文字与表格并生成可执行计算程序,测试执行准确率65.05%。
公开 2023-10-23 · 财报问答答案指标;CoT使用相对容差0.001,非完整报告验收
FinQA测试1,147题;表2同一Codex底层模型的少样本贪心结果为CoT 40.4%、PoT 64.5%。
工作含义:可计算步骤有外部执行接口,但正确运算仍可能基于错误取数。;依据:Program of Thoughts:外部计算接口(v4)
FinQA测试1,147题;表2同一Codex底层模型的少样本贪心结果为CoT 40.4%、PoT 64.5%。
公开 2023-11-20 · 人工核对的正确回答数;包含逻辑与计算依据检查
FinanceBench公开150题中,GPT-4-Turbo共享向量库29/150答对;整份财报长上下文118/150答对。
工作含义:这组实验中,同一模型因资料处理方式不同表现悬殊;实际使用时仍要核对材料、页码与口径。;依据:FinanceBench固定首稿
FinanceBench公开150题中,GPT-4-Turbo共享向量库29/150答对;整份财报长上下文118/150答对。
任务切片 F02
任务验收:每条主张有支持材料;截止日之后信息不得混入;不把条款分当整份报告合格。
公开 2024-06-26 · 已提供的机构工作流;无本条净人时试验
Morgan Stanley公告回顾:Assistant于2023年9月全面推出,为顾问提供内部知识检索。
工作含义:资料查找和摘要可进入员工工具,建议与客户关系继续由人负责。;依据:Morgan Stanley Debrief正式公告
Morgan Stanley公告回顾:Assistant于2023年9月全面推出,为顾问提供内部知识检索。
公开 2026-08-12 · GPT5.4、Gemini3.1 Pro、Claude Sonnet4.6三模型多数票判断每个验收项是否满足;先算每题满足比例,再对220题等权平均(宏平均)。不是整题通过率或专业人士批准。
FrontierFinance含220查询、11543条附来源的验收项;Samaya高努力内部Agent框架宏平均56.0%,Fable5+Finance Agent v2为49.2%。
工作含义:Agent能执行多步研究,但数字、时点、比较与结论仍要逐项验收。;依据:FrontierFinance固定首稿
FrontierFinance含220查询、11543条附来源的验收项;Samaya高努力内部Agent框架宏平均56.0%,Fable5+Finance Agent v2为49.2%。
任务切片 F03
任务验收:关键决定准确;行动负责人与日期核对;客户内容权限符合实际授权。
公开 2024-06-26 · 官方公开功能流程;没有本试点成功率/实测净人时
Morgan Stanley Debrief在客户同意后生成会议笔记、行动项与邮件草稿,并保存Salesforce笔记;顾问修订和决定发送。
工作含义:文稿准备可以减少手工步骤,但客户决定和发送责任保留。;依据:Morgan Stanley Debrief正式公告
Morgan Stanley Debrief在客户同意后生成会议笔记、行动项与邮件草稿,并保存Salesforce笔记;顾问修订和决定发送。
任务切片 F04
任务验收:文件间数值一致;表格公式可复算;专业人士审核最终产物。
公开 2026-04-13 · 可直接发送档;172是评审次数,不是172个独立完整任务
BankerToolBench含100项初级投行任务;21位银行人员对GPT-5.4/Opus4.6产物172次评审中,没有评为可直接发送。
工作含义:AI可以先产出草稿,但发送前仍需要数字、公式和跨文件审查。;依据:BankerToolBench固定首稿
BankerToolBench含100项初级投行任务;21位银行人员对GPT-5.4/Opus4.6产物172次评审中,没有评为可直接发送。
任务切片 F05
任务验收:前瞻样本外表现;扣除全成本的真实净收益;风险与客户约束全部通过。
截至 2026-10-19,本次未收录这项任务的适配证据。空白不证明AI做不到。
整理于 2026-10-19;各条实际阅读日另列。仅显示截至 2026-10-19 已公开的入选材料。综述用于发现任务,不作为独立通过率证据。
研究基准 · BF01 · BF01
公开日期 2021-09-01 · 页面标示发布日期或固定预印本v1页首日期
原文位置:§3任务;§4.4数据切分;§6设置(BERT-base/top3)与§6.1表2(RoBERTa-large)。
实际阅读 2026-10-14 · 65.05%为FinQANet执行准确率;91.16%专家参照不作同样本同预算受控增长比较 · 本轮直接阅读所列原文位置;未复跑实验
当前引用状态:可引用;不等于现场验证。状态取自整理于 2026-10-19 的当前模块,不表示历史视角当时已知。
研究基准 · BF02 · financebench
公开日期 2023-11-20 · 页面标示发布日期或固定预印本v1页首日期
原文位置:§4配置及§4.1标注;§5表2(Shared Vector Store与Long Context)。 Appendix B(测试月份)。
实际阅读 2026-10-15 · 150题公开子集;29/150与118/150是同论文实验窗口中的不同流程,不能画成时间进步 · 2026-10-15直接复核§4/§5及Appendix B;未复跑实验
当前引用状态:可引用;不等于现场验证。状态取自整理于 2026-10-19 的当前模块,不表示历史视角当时已知。
机构产品公告 · BF03 · morganstanley-ai
公开日期 2024-06-26 · 页面标示发布日期或固定预印本v1页首日期
原文位置:client consent;Advisor edit/send;Salesforce;Assistant的2023年9月回顾
实际阅读 2026-10-14 · 机构自报流程/采用,不是独立效率试验;2023上线信息此处到2024才公开确认 · 本轮直接阅读所列原文位置;未复跑实验
当前引用状态:可引用;不等于现场验证。状态取自整理于 2026-10-19 的当前模块,不表示历史视角当时已知。
研究基准 · BF04 · BF04
公开日期 2026-04-13 · 页面标示发布日期或固定预印本v1页首日期
原文位置:§3任务与环境;§6.1;附录A.4人工评审
实际阅读 2026-10-14 · 21名银行人员172次评审,指定GPT-5.4/Opus4.6产物;0%可直接发送不是全金融行业结论 · 本轮直接阅读所列原文位置;未复跑实验
当前引用状态:可引用;不等于现场验证。状态取自整理于 2026-10-19 的当前模块,不表示历史视角当时已知。
研究基准 · BF05 · BF05
公开日期 2026-08-12 · 页面标示发布日期或固定预印本v1页首日期
原文位置:§3任务与来源化验收项;§5共同预算;§5.1三模型多数票及宏平均;表4系统/框架结果。
实际阅读 2026-10-14 · 56.0%是Samaya高努力内部harness的条款满足宏平均,不是完整研究通过率 · 本轮直接阅读所列原文位置;未复跑实验
当前引用状态:可引用;不等于现场验证。状态取自整理于 2026-10-19 的当前模块,不表示历史视角当时已知。
综述 · BS01 · BS01
公开日期 2025-04-09 · 页面标示发布日期或固定预印本v1页首日期
原文位置:§2筛选;§3任务;§7.1指标与§7.2危机期间
实际阅读 2026-10-14 · 374候选/221金融任务论文;论文数不是能力分/真实交易净收益 · 本轮直接阅读所列原文位置;未复跑实验
当前引用状态:可引用;不等于现场验证。状态取自整理于 2026-10-19 的当前模块,不表示历史视角当时已知。
数值任务研究预印本 · BF06 · program-of-thoughts
公开日期 2023-10-23 · 固定v4页首:2023-10-23;不把v4表格倒填v1
原文位置:§2.2;§3.1数据/实现/指标;§3.2表2
实际阅读 2026-10-15 · 同底层模型改变提示与执行流程;未匹配完整延迟/预算;不是端到端财务工作通过率 · 本轮直接核对所列原文位置/版本;未复跑外部实验
当前引用状态:可引用;不等于现场验证。状态取自整理于 2026-10-19 的当前模块,不表示历史视角当时已知。
编辑历史
工作建议变化和资料维护分开记录。没有可比运行时,不把页面更新称为AI能力进步。
使用数据分析证据时,先核对榜单验证状态;继续按本地业务门槛验收,不因榜单维护状态改变委派范围。
介绍页的早期结果容易被误作当前能力
已验证榜单暂停新增验证;v2待发布
只引用具体结果状态和日期;没有取到可靠最新数值时保留原始入口。日期为本站核查日。
查看原始依据与限制 →将营销供应商自测作为补充线索;验收标准不因自报分数而降低。等待可访问的任务和运行记录再评估支持力度。
官网宣称任务、评分与原始运行已公开
本轮访问所链仓库返回404
自测结果附明显限制,不升级为独立验证;后续重查公开资产。日期为本站核查日。
查看原始依据与限制 →在软件回执中记录V2与运行协议;与旧版比较前先检查任务集合和配置。
旧公开集731题
V2为642题,修正任务并锁定协议
开发任务保留基准版本。旧版与新版成绩分开解释,不自动认定能力回退或进步。
查看原始依据与限制 →系统交接增加跨应用状态核对、部分失败与恢复检查;这是方法建议,不是现场成功率提升。
主要参考单应用或较短操作任务
新增108个长流程任务与整题/部分评分
企业交付页加入状态恢复、跨来源核对和最终验收要求,仍不宣称现场采用已验证。
查看原始依据与限制 →Agent失败后保留轨迹与根因判断,分别验收诊断是否正确、修复是否有效。
仅从是否完成观察Agent表现
引入失败定位与根因分类证据
DEV-04增加失败轨迹审查;诊断增益与修复完成度分开展示。
查看原始依据与限制 →