技术基础
ARC-AGI-3、HLE-Diamond和科学终端评测把测量推进到更多交互与工具场景，同时凸显配置和协议的重要性。
整理 2026-10-14 · 研究材料截至 2026-10-12
先理解研究对象
评测把能力放到一组固定任务与规则下测量。静态问答、交互环境、工具研究和科学工作流测的是不同对象；同名模型在不同工具与预算下也可能得到不同分数。
闭卷回答财报问题，与允许搜索和计算后回答，不能解释为底模知识突然增长。比较时要先问题集是否相同、能用什么工具、允许几次尝试，以及谁判分。
ARC-AGI-3让系统进入陌生的回合制彩色格子环境，没有直接说明操作目标；系统需观察画面、尝试动作、推断规则与胜利条件，再以尽可能少的动作完成关卡。环境分25个公开演示、55个半私有API留出和55个全私有竞赛环境，RHAE综合完成关卡与相对人类动作效率。[1]
成绩页列出的半私有留出集最佳观察结果是：Astra Standard运行框架max档62.7%、费用26,098美元；Provider Adapter high档99.9%、费用18,817美元。Adapter保留原生推理状态并可压缩上下文，但框架与推理档同时变化，而且不是同预算实验，不能将差异归因于单一因素。它也不自动证明全私有竞赛集或实际工作的表现。[2]
既有研究报告的事实摘要与条件说明；具体引用在正文标注
HLE-Diamond将专家题精炼为1000道，官方划分500道推理题、500道知识题。9月22日发布页报告Astra high闭卷59.9%，加入web搜索与code计算后82.9%。回答同样题目时多了查证工具，结果更好不等于模型内部知识突然增长。[3]
另一运营方Scale现行页列60.6±3.0%。运行快照、提示与判分是否一致未公开，差异原因未知，不应据此判断能力升降。本页保留两个数的来源口径，不将它们混成同一次评测。[4]
对应材料：HLE 官方发布Scale HLE-Diamond 榜
既有研究报告的事实摘要与条件说明；具体引用在正文标注
原报告记载科学终端评测：OpenAI9月3日页面列64.6%，9月29日更新页与运营方榜列68.1%。本轮未成功读取两个OpenAI入口，结果仍继承原报告；具体任务版本、预算、运行和评分是否相同尚未确认，不能记作严格同条件提升。[5] [6] [7]
本页未取得足够原材料说明该快照中具体任务的输入与验收过程，暂不编造任务例子。选型前应沿运营方任务说明核对：是回答科学问题，还是实际操作终端、产生可运行产物，以及哪些检查判为合格。[7]
对应材料：Astra 9 月 3 日模型页9 月 29 日更新页Science 运营榜
继承指定报告的快照比较；本轮未直接核对全部原始结果
论文发布、修订、业务进度和资料截止分别标识。未披露的事件日不补成精确日期。
GPQA原论文的原始发布记录；不代表实验在该日完成
arXiv首稿记录 · 日期
ARC-AGI-3技术报告首页日期；不等于上传或实验日。
PDF首页日期 · 日期
HLE 官方发布的原始发布记录；不代表实验在该日完成
原始页面元数据 article:published_time · 日期
这份研究摘要的资料范围，不是上述事件统一发生的日期。
原研究报告事实范围 · 资料截止
应用建议（编辑推断）：财报工作若允许搜索与计算，就用一组未公开财报、相同工具和费用上限比较系统，记录首次交付的结论、证据页和计算是否合格，以及人工改错时间。
陌生软件操作则另测探索规则和错误恢复，不把专家问答分数当操作成绩。上述排行榜没有提供这些现场结果；工作产物的验收才决定是否可委派。
基准情景是评测会更重视私有留出、冻结配置、轨迹审计和多次重复，模型在部分交互任务上继续提高。若独立运行能在半私有和全私有集复现成绩，并在同 harness、同预算下持续提高首试成功率与成本效率，判断才会上调；可观察信号包括 ARC 私有集结果、Science 冻结版本复测、任务级费用分布和科学团队前瞻验证。
正文中的编号指向下列材料。材料类别、具体支持与限制一起阅读，不能按链接数量累计独立验证。
[1] 原始研究或机构项目说明
ARC 技术报告
支持的内容：未知交互任务、留出分组及效率计分定义。
阅读定位：PDF §2.1–2.3（任务/接口）；§3.6/表1（25/55/55分组）；§4.1（RHAE）。
查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。
2026-10-14（北京时间）检查了书目/获取信息；不等于重新验证结果。
继承既有报告审查范围；导入未重跑或重新核验全部原始来源。文献家族未知，不计独立实验数。
结果依据继承原研究 2026-10-12，具体配置和局限需沿原文核对。
[2] 原始研究或机构项目说明
成绩与配置说明
支持的内容：半私有最佳观察结果、框架/推理档、报告费用。
阅读定位：成绩页顶部摘要与 Verified scores 的 Max/High 行。
查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。
2026-10-14（北京时间）检查了书目/获取信息；不等于重新验证结果。
继承既有报告审查范围；导入未重跑或重新核验全部原始来源。文献家族未知，不计独立实验数。
结果依据继承原研究 2026-10-12，具体配置和局限需沿原文核对。
[3] 原始研究或机构项目说明
HLE 官方发布
支持的内容：1000题/500+500划分及high闭卷/工具对照。
阅读定位：Main results、Dataset、Evaluation with tools。
查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。
2026-10-14（北京时间）检查了书目/获取信息；不等于重新验证结果。
继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。
结果依据继承原研究 2026-10-12，具体配置和局限需沿原文核对。
[4] 原始研究或机构项目说明
Scale HLE-Diamond 榜
支持的内容：另一运营方的60.6±3.0%现行快照，协议是否一致未知。
阅读定位：HLE-Diamond榜单指定Astra行与指标说明。
查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。
2026-10-14（北京时间）检查了书目/获取信息；不等于重新验证结果。
继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。
结果依据继承原研究 2026-10-12，具体配置和局限需沿原文核对。
[5] 原始研究或机构项目说明
Astra 9 月 3 日模型页
支持的内容：原报告保留的64.6%快照；未新增本轮原文验证。
阅读定位：9月3日模型页面的科学终端结果项；本轮入口读取失败。
查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。
此入口的书目探测失败不代表历次或其他入口的读取都失败。实际原文阅读范围见本材料说明。
继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。
结果依据继承原研究 2026-10-12，具体配置和局限需沿原文核对。
[6] 原始研究或机构项目说明
9 月 29 日更新页
支持的内容：原报告保留的68.1%快照；未确认同条件复测。
阅读定位：9月29日更新页的科学终端结果项；本轮入口读取失败。
查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。
此入口的书目探测失败不代表历次或其他入口的读取都失败。实际原文阅读范围见本材料说明。
继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。
结果依据继承原研究 2026-10-12，具体配置和局限需沿原文核对。
[7] 原始研究或机构项目说明
Science 运营榜
支持的内容：原报告记载的运营方68.1%口径；任务版本与预算需进一步核对。
阅读定位：运营方榜单指定模型行及任务/指标说明。
查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。
2026-10-14（北京时间）检查了书目/获取信息；不等于重新验证结果。
继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。
结果依据继承原研究 2026-10-12，具体配置和局限需沿原文核对。
[8] 研究预印本
GPQA原论文
支持的内容：难题问答构造背景，不支持上述ARC或HLE分数。
阅读定位：GPQA预印本摘要和任务构造说明；仅作评测背景。
查看该快照的题集、工具、预算与指标后再比较；未直接读取的范围在此保留。
2026-10-14（北京时间）检查了书目/获取信息；不等于重新验证结果。
继承指定研究的核验与配置范围；文献家族未知，不按URL计独立实验。
结果依据继承原研究 2026-10-12，具体配置和局限需沿原文核对。
本页整理：2026-10-14 · 研究事实范围：2026-10-12。概念解释与既有研究展开；元数据访问不是原始实验复验。
研究验证；少量任务处受控评测，尚无证据把分数映射为稳定科学产出或普遍交互能力。
前沿推进 暂难判断；真实转化 暂难判断；判断信心 低。这是定性范围判断，不是增长率或职业替代率。
现今补充 · 独立观察模块2026-10-19.observations.2；原前沿研究基准另行保留。
看使用和采用背景、固定测试条件与成本；读训练迁移和评测方法，再回到输入、交接与验收。