# 高难评测与交互推理 前沿版本：2026-10-16.1；领域F09 ## 概念与例子：困难评测究竟在测什么 评测把能力放到一组固定任务与规则下测量。静态问答、交互环境、工具研究和科学工作流测的是不同对象；同名模型在不同工具与预算下也可能得到不同分数。 闭卷回答财报问题，与允许搜索和计算后回答，不能解释为底模知识突然增长。比较时要先问题集是否相同、能用什么工具、允许几次尝试，以及谁判分。 - 闭卷：不能查询外部资料的评测条件。 - 私有留出：未公开给开发者的题目，用于减少针对测试集调参。 - 动作效率：完成交互任务所需的操作次数，相对指定基线衡量。 - harness与adapter：评测组织环境、工具和模型状态的接口层；改变它们可能改变测量对象。 - RHAE：相对人类动作效率的综合得分：同时考虑哪些关卡完成、用了多少动作；不是单纯完成率。 - high/max：推理强度档位，不同档位可能使用不同计算预算。 - judge：对输出判分的程序或评审者；规则变化也会改变成绩。 ## 具体进展 ### ARC-AGI-3中的环境与工具配置 ARC-AGI-3让系统进入陌生的回合制彩色格子环境，没有直接说明操作目标；系统需观察画面、尝试动作、推断规则与胜利条件，再以尽可能少的动作完成关卡。环境分25个公开演示、55个半私有API留出和55个全私有竞赛环境，RHAE综合完成关卡与相对人类动作效率。[ARC 技术报告](https://arcprize.org/media/ARC_AGI_3_Technical_Report.pdf) 成绩页列出的半私有留出集最佳观察结果是：Astra Standard运行框架max档62.7%、费用26,098美元；Provider Adapter high档99.9%、费用18,817美元。Adapter保留原生推理状态并可压缩上下文，但框架与推理档同时变化，而且不是同预算实验，不能将差异归因于单一因素。它也不自动证明全私有竞赛集或实际工作的表现。[成绩与配置说明](https://arcprize.org/results/openai-gpt-6-astra) 既有研究报告的事实摘要与条件说明；具体引用在正文标注 对应材料：[ARC 技术报告](https://arcprize.org/media/ARC_AGI_3_Technical_Report.pdf)、[成绩与配置说明](https://arcprize.org/results/openai-gpt-6-astra) ### HLE-Diamond：专家问答与工具查证 HLE-Diamond将专家题精炼为1000道，官方划分500道推理题、500道知识题。9月22日发布页报告Astra high闭卷59.9%，加入web搜索与code计算后82.9%。回答同样题目时多了查证工具，结果更好不等于模型内部知识突然增长。[HLE 官方发布](https://agi.safe.ai/blog/hle-diamond) 另一运营方Scale现行页列60.6±3.0%。运行快照、提示与判分是否一致未公开，差异原因未知，不应据此判断能力升降。本页保留两个数的来源口径，不将它们混成同一次评测。[Scale HLE-Diamond 榜](https://labs.scale.com/leaderboard/hle-diamond) 既有研究报告的事实摘要与条件说明；具体引用在正文标注 对应材料：[HLE 官方发布](https://agi.safe.ai/blog/hle-diamond)、[Scale HLE-Diamond 榜](https://labs.scale.com/leaderboard/hle-diamond) ### 科学终端评测：快照变化还缺哪些条件 原报告记载科学终端评测：OpenAI9月3日页面列64.6%，9月29日更新页与运营方榜列68.1%。本轮未成功读取两个OpenAI入口，结果仍继承原报告；具体任务版本、预算、运行和评分是否相同尚未确认，不能记作严格同条件提升。[Astra 9 月 3 日模型页](https://openai.com/index/gpt-6-astra/) [9 月 29 日更新页](https://openai.com/index/introducing-gpt-6-1-sol/) [Science 运营榜](https://www.terminal-bench-science.ai/?view=domains) 本页未取得足够原材料说明该快照中具体任务的输入与验收过程，暂不编造任务例子。选型前应沿运营方任务说明核对：是回答科学问题，还是实际操作终端、产生可运行产物，以及哪些检查判为合格。[Science 运营榜](https://www.terminal-bench-science.ai/?view=domains) 继承指定报告的快照比较；本轮未直接核对全部原始结果 对应材料：[Astra 9 月 3 日模型页](https://openai.com/index/gpt-6-astra/)、[9 月 29 日更新页](https://openai.com/index/introducing-gpt-6-1-sol/)、[Science 运营榜](https://www.terminal-bench-science.ai/?view=domains) ## 时间线 - 2023-11-20（论文/项目页面发布 / 日期）：GPQA原论文的原始发布记录；不代表实验在该日完成 日期依据：arXiv首稿记录 - 2026-04-22（报告标示日期 / 日期）：ARC-AGI-3技术报告首页日期；不等于上传或实验日。 日期依据：PDF首页日期 - 2026-09-22（论文/项目页面发布 / 日期）：HLE 官方发布的原始发布记录；不代表实验在该日完成 日期依据：原始页面元数据 article:published_time - 2026-10-12（研究材料范围 / 资料截止）：这份研究摘要的资料范围，不是上述事件统一发生的日期。 日期依据：原研究报告事实范围 ## 工作意义 应用建议（编辑推断）：财报工作若允许搜索与计算，就用一组未公开财报、相同工具和费用上限比较系统，记录首次交付的结论、证据页和计算是否合格，以及人工改错时间。 陌生软件操作则另测探索规则和错误恢复，不把专家问答分数当操作成绩。上述排行榜没有提供这些现场结果；工作产物的验收才决定是否可委派。 ### 后续观察 基准情景是评测会更重视私有留出、冻结配置、轨迹审计和多次重复，模型在部分交互任务上继续提高。若独立运行能在半私有和全私有集复现成绩，并在同 harness、同预算下持续提高首试成功率与成本效率，判断才会上调；可观察信号包括 ARC 私有集结果、Science 冻结版本复测、任务级费用分布和科学团队前瞻验证。 ## 证明材料 ### ARC 技术报告 [ARC 技术报告](https://arcprize.org/media/ARC_AGI_3_Technical_Report.pdf)；类别：原始研究或机构项目说明；状态：active 支持：未知交互任务、留出分组及效率计分定义。 定位：PDF §2.1–2.3（任务/接口）；§3.6/表1（25/55/55分组）；§4.1（RHAE）。 查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。 原始发布：未知；修订：未提取；未从二进制资料猜测发布日期 继承既有报告审查范围；导入未重跑或重新核验全部原始来源。文献家族未知，不计独立实验数。 2026-10-14书目信息，非实验复验。 ### GPT-6 Astra - ARC-AGI Results [成绩与配置说明](https://arcprize.org/results/openai-gpt-6-astra)；类别：原始研究或机构项目说明；状态：active 支持：半私有最佳观察结果、框架/推理档、报告费用。 定位：成绩页顶部摘要与 Verified scores 的 Max/High 行。 查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。 原始发布：未知；修订：未提取；原页面未提取到可靠发布日期，保持未知 继承既有报告审查范围；导入未重跑或重新核验全部原始来源。文献家族未知，不计独立实验数。 2026-10-14书目信息，非实验复验。 ### Introducing HLE-Diamond [HLE 官方发布](https://agi.safe.ai/blog/hle-diamond)；类别：原始研究或机构项目说明；状态：active 支持：1000题/500+500划分及high闭卷/工具对照。 定位：Main results、Dataset、Evaluation with tools。 查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。 原始发布：2026-09-22；修订：未提取；原始页面元数据 article:published_time 继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。 2026-10-14书目信息，非实验复验。 ### Humanity's Last Exam (Diamond) [Scale HLE-Diamond 榜](https://labs.scale.com/leaderboard/hle-diamond)；类别：原始研究或机构项目说明；状态：active 支持：另一运营方的60.6±3.0%现行快照，协议是否一致未知。 定位：HLE-Diamond榜单指定Astra行与指标说明。 查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。 原始发布：未知；修订：未提取；原页面未提取到可靠发布日期，保持未知 继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。 2026-10-14书目信息，非实验复验。 ### Astra 9 月 3 日模型页 [Astra 9 月 3 日模型页](https://openai.com/index/gpt-6-astra/)；类别：原始研究或机构项目说明；状态：active 支持：原报告保留的64.6%快照；未新增本轮原文验证。 定位：9月3日模型页面的科学终端结果项；本轮入口读取失败。 查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。 原始发布：未知；修订：未提取；原始发表日期未提取，保留未知 继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。 2026-10-14书目信息，非实验复验。 ### 9 月 29 日更新页 [9 月 29 日更新页](https://openai.com/index/introducing-gpt-6-1-sol/)；类别：原始研究或机构项目说明；状态：active 支持：原报告保留的68.1%快照；未确认同条件复测。 定位：9月29日更新页的科学终端结果项；本轮入口读取失败。 查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。 原始发布：未知；修订：未提取；原始发表日期未提取，保留未知 继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。 2026-10-14书目信息，非实验复验。 ### TERMINAL-BENCH-SCIENCE [Science 运营榜](https://www.terminal-bench-science.ai/?view=domains)；类别：原始研究或机构项目说明；状态：active 支持：原报告记载的运营方68.1%口径；任务版本与预算需进一步核对。 定位：运营方榜单指定模型行及任务/指标说明。 查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。 原始发布：未知；修订：未提取；原页面未提取到可靠发布日期，保持未知 继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。 2026-10-14书目信息，非实验复验。 ### GPQA: A Graduate-Level Google-Proof Q&A Benchmark [GPQA原论文](https://arxiv.org/abs/2311.12022)；类别：研究预印本；状态：active 支持：难题问答构造背景，不支持上述ARC或HLE分数。 定位：GPQA预印本摘要和任务构造说明；仅作评测背景。 查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。 原始发布：2023-11-20；修订：未提取；arXiv首稿记录 继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。 2026-10-14书目信息，非实验复验。 本页整理：2026-10-14；事实范围：2026-10-12。概念解释与既有研究展开；元数据访问不是原始实验复验。 阶段：研究验证；少量任务处受控评测，尚无证据把分数映射为稳定科学产出或普遍交互能力。 前沿暂难判断；转化暂难判断；信心低。定性判断不是职业自动化率。