基准2026-10-13 · 下次复核2027-01-13
固定周报准备
把周报拆成可复算数字、有出处的材料和业务解释
授权表格、固定指标与模板,中文内部报表;无完整场景现场基线。
首次整理/公开 2026-10-13 · 证据截止 2026-10-13 · 本次编辑 2026-10-13。规划基准日沿用既定锚点,新增情景不回填为当时已知。
先理解研究对象
把周报拆成可复算数字、有出处的材料和业务解释
这里的工作要求用真实数据交付一份数字一致、能追溯出处并由团队接收的报告。固定计算、资料检索和业务解释的验收不同,应分别判断。
例如销售周报需要先确定退款是否扣除,再核对各地区之和与总额,最后解释异常。模型能够写出解释不代表口径已确认,也不能用金融文档评测的分数推算这一份周报的成功率。
- 技术可委派
- 在给定输入、工具与质量门槛下,执行部分可交给AI。
- 实际委派
- 组织已经接入流程并真实采用,和技术上能做不同。
- 净人时
- 同工作量同质量下,计入准备、复核、返工、接管和维护后的人员时间变化。
具体发生了哪些进展
LaRA与LongMemEval分别测到什么
LaRA在2326道题、11个模型与小说、论文、财报语料上比较检索增强和长上下文。RAG设置使用600 token的分块、100 token重叠,结合GTE向量检索与BM25,取5块供模型回答。结果随任务、模型和材料长度变化;必须连同这些检索条件阅读,不能断言长窗口或检索总是更好。[1]
同一GPT-4o、128k上下文行中,LaRA表2的推理题正确率为长上下文79.35%、RAG70.26%;无答案应拒答题则为长上下文56.34%、RAG67.33%。推理题含财报计算和人物关系,评判由GPT-4o判断答案正确性。这个例子说明两种方案在不同任务中各有优势,不是通用胜负。[1]
LongMemEval用500题测试跨会话信息抽取、时间推理、事实更新与拒答。在LongMemEval_S约115k token历史、GPT-4o且未加CoN笔记步骤的条件下,图3b报告全历史输入为60.6%,直接给定相关会话的oracle为87.0%。这说明正确找到证据很重要;oracle已经移除检索难度,不是完整可部署系统的87%成功率。[2]
对应材料:LaRALongMemEval
相邻研究及其条件,尚未验证本场景的完成率或收益。
金融检索和跨文件专业交付
FrontierFinance测试220道金融研究查询、11,543条验收项。8月论文中的56.0%是Samaya高努力内部系统;Claude Fable 5为49.2%、Kimi K3为46.4%,配Finance Agent v2、最多200工具调用/300秒。分数是逐题条款满足率的平均,不是整题通过率;9月28日运营方榜Fable5.1+同名Agent的55.9%是另一快照,不能当控制增长曲线。[3] [4]
BankerToolBench有100项初级投行业务任务,要求表格、幻灯片、备忘录数值与引用一致,主实验用OpenCode。九系统最佳仍近半条款未满足;21名投行人员对GPT-5.4或Opus4.6产物作172次评审,无人给“可直接发送”档。172次不是172份独立产物,0%也不是所有金融AI的通用交付率。[5]
对应材料:FrontierFinanceSamaya榜单BankerToolBench
相邻研究及其条件,尚未验证本场景的完成率或收益。
同类工具在不同开发者任务中效果相反
Microsoft、Accenture与匿名Fortune100的三项企业现场随机试验,合并4867名开发者,随机提供代码补全助手,作者估计完成任务数量高26.08%(标准误10.3个百分点)。这不是每项任务都省时26%,也不是稳定的全行业增益。[6]
METR另让16名熟悉成熟仓库、对目标仓库平均约5年经验的维护者处理246个预先定义issue,随机允许或禁用AI。使用2025年2–6月工具前沿,主要是Cursor Pro与Claude3.5/3.7 Sonnet,完成时间增加19%。这是耗时指标,与完成任务数量不同;不适用于当前全部工具或新手任务。[7]
对应材料:企业开发者试验真实仓库试验
相邻研究及其条件,尚未验证本场景的完成率或收益。
这些研究怎样影响本场景(编辑推断)
检索和记忆评测说明相关材料、事实更新与拒答会改变结果。对周报,应保留每个数字的来源与期间,不能只把全部文件放进长输入。
金融文档评测要求表格、幻灯片和备忘录一致。这为周报提供相邻验收思路:逐项核对图表和文字的数字与公式,但不能直接继承银行任务的分数。
开发者任务研究出现相反方向的人时结果,提醒周报也要记录准备、复核与返工;文字生成更快不等于整条流程省时。
本场景应用推断;研究没有直接测量这份工作,幅度保持未知。
进度与时间线
论文发布、修订、业务进度和资料截止分别标识。未披露的事件日不补成精确日期。
2026-10-13条件推断建立
使用指定研究与当前任务标准提出场景判断,不是业务测量日。
本场景初始判断记录 · 预测基准
2027-10-13一年情景
固定字段与口径下,归集、计算和图表草稿更可能交给AI;人员解释异常并确认接收。
从预测基准日起的一年检查点 · 目标日期
2029-10-13三年情景
若来源版本、事实撤销与跨文件核对可靠,可扩大成稿链;业务解释和接收仍由人负责。
三年新增条件推断,不是原论文已经验证的结果 · 目标日期
这对实际工作意味着什么
先做下方最小试点,保存全部尝试和独立验收,再决定扩大范围。人承担的口径、接受与例外处理要具体记录。
还有什么需要观察
方向为条件推断,幅度未知;地区/语言/工具/人群不同不直接迁移。三年是本站条件推断的检查点,没有来源论文直接验证这个时间跨度。
引用的证明材料
正文中的编号指向下列材料。材料类别、具体支持与限制一起阅读,不能按链接数量累计独立验证。
[1] 研究预印本
LaRA
支持的内容:指定GPT-4o/128k行的推理与拒答结果,以及RAG检索配置;任务不同有不同优势。 对本场景仅提供相邻验收参考。
阅读定位:v2 §3.2(题型)、§3.4(答案判分)、§4.1(配置)、§4.2/表2(模型与结果)。
先确定问题类型与检索器,再比较各模型;不同条件不可拼成统一提升。
- 文档原始发布
- 2025-02-14
- 文档修订/更新
- 2025-03-05
- 日期依据
- arXiv首稿记录
2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。
证据适用范围与核对状态
研究比较设置,不是金融业务部署或独立复验。
结果依据继承原研究 2026-10-13,具体配置和局限需沿原文核对。
[2] 原始研究或机构项目说明
LongMemEval
支持的内容:LongMemEval_S、GPT-4o、不加CoN时0.606/0.870对照及五类长期记忆能力。 对本场景仅提供相邻研究与验收参考。
阅读定位:§3.4、图3b(印刷第6页);相关数据与历史长度说明。
区分全历史输入与直接提供正确相关会话;oracle排除了检索困难。
- 文档原始发布
- 未提取到可靠日期
- 日期依据
- 未从二进制资料猜测发布日期
2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。
证据适用范围与核对状态
作者评测结果;本页未重跑,不能把oracle当完整系统成绩。
结果依据继承原研究 2026-10-13,具体配置和局限需沿原文核对。
[3] 研究预印本
FrontierFinance
支持的内容:指定系统与条款满足率,不是全任务成功率。 对本场景仅提供相邻研究与验收参考。
阅读定位:§3.1(220题);§5/§5.1(工具与宏平均评分);表4(结果)。
先分清条款满足、整题通过、数值答案正确与可发送四种指标,再看配置。
- 文档原始发布
- 2026-08-12
- 日期依据
- arXiv首稿记录
2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。
证据适用范围与核对状态
继承指定研究的核验与配置范围;文献家族未知,不按URL计独立实验。
结果依据继承原研究 2026-10-12,具体配置和局限需沿原文核对。
[4] 原始研究或机构项目说明
Samaya榜单
支持的内容:另一快照55.9%,未确认同预算控制比较。 对本场景仅提供相邻研究与验收参考。
阅读定位:运营方2026-09-28榜单指定模型/Finance Agent v2行。
先分清条款满足、整题通过、数值答案正确与可发送四种指标,再看配置。
- 文档原始发布
- 未提取到可靠日期
- 日期依据
- 原页面未提取到可靠发布日期,保持未知
2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。
证据适用范围与核对状态
继承指定研究的核验与配置范围;文献家族未知,不按URL计独立实验。
结果依据继承原研究 2026-10-12,具体配置和局限需沿原文核对。
[5] 研究预印本
BankerToolBench
支持的内容:100投行任务、跨文件交付与指定产物人工评审。 对本场景仅提供相邻研究与验收参考。
阅读定位:§3.1/§3.2(任务/环境);§6.1(可直接发送档);附录A.4(21人/172评审)。
先分清条款满足、整题通过、数值答案正确与可发送四种指标,再看配置。
- 文档原始发布
- 2026-04-13
- 日期依据
- arXiv v1首稿记录
2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。
证据适用范围与核对状态
继承指定研究的核验与配置范围,本次未重新复跑原始实验;文献独立家族未知。
结果依据继承原研究 2026-10-12,具体配置和局限需沿原文核对。
[6] 期刊论文或文献摘要
企业开发者试验
支持的内容:三企业4867人代码补全试验的任务数量估计、标准误与人群差异。 对本场景仅提供相邻研究与验收参考。
阅读定位:期刊Abstract;Article Information(在线日期)。
任务数量、耗时、相对趋势和整体人数是不同指标;先核对比较对象。
- 文档原始发布
- 2026-02-27
- 日期依据
- 期刊Published Online日期
此入口的书目探测失败不代表历次或其他入口的读取都失败。实际原文阅读范围见本材料说明。
证据适用范围与核对状态
继承既有报告审查范围;导入未重跑或重新核验全部原始来源。文献家族未知,不计独立实验数。
结果依据继承原研究 2026-10-12,具体配置和局限需沿原文核对。
[7] 现场随机试验:成熟仓库维护
真实仓库试验
支持的内容:熟悉目标仓库的维护者(该仓库平均约5年经验),指定工具下随机允许AI的耗时结果;对本场景仅为相邻验收参考。
阅读定位:PDF第1页Abstract、第2页Introduction及试验任务定义。
任务数量、耗时、相对趋势和整体人数是不同指标;先核对比较对象。
- 文档原始发布
- 未提取到可靠日期
- 日期依据
- 原始发表日期未提取,保留未知
2026-10-14(北京时间)检查了书目/获取信息;不等于重新验证结果。
证据适用范围与核对状态
继承既有报告审查范围;导入未重跑或重新核验全部原始来源。文献家族未知,不计独立实验数。
结果依据继承原研究 2026-10-12,具体配置和局限需沿原文核对。
本页整理:2026-10-14 · 研究事实范围:2026-10-13。场景适配与未来情景为编辑推断,实际三个份额保持未知。