深入解释 · 整理2026-10-15
榜单费用为什么不是你的完整工作成本?
把题目/API费用、全部失败尝试、人工核验和最终交付放回同一个范围。
先核对测试的产物
LCB看历史编程题的执行评分;AIME看固定数学赛事答案;FrontierCode组件是标准化rubric分。它们都提供工具选择线索,但不是同一种业务交付,也不提供相同质量下的完整人时。
一笔费用包含了什么
AIME费用/题来自同模型、档位、赛事的官方页,仍缺单行实际重复次数、运行日与完整预算。AA Cost per Task方法按测试权重计算输入、缓存、输出token成本,不能转成你的完整工作费用。AA现行条款限制再发布,这里保留方法与原文入口,没有复制数字排行榜。
给自己的试点记一份完整账
分开记录模型/工具费用、全部失败尝试、人的准备/提示/监督/复核/返工/接管与维护。机器运行、等待和总历时另记,重叠活动不重复累计。人的等待确实占用本人时说明计量约定;不知道就写未知。这个方法建议不是外部论文已替你的团队测出的ROI。
算术示例不等于已节省
人工构造例:每次调用0.02美元、10次尝试,调用费为0.20美元;如果仍需人审查30分钟,完整成本还取决于你的人工成本约定与质量验收。示例未执行AI任务,没有代入真实工资或节省比例。只有固定工作量与质量基线后,才比较接收产物的净结果。
现在可以带走什么
- 按同工作量同质量比较
- 记录失败与人工核验,别只记最终成功调用
- 把未知费用/时间留为空,不自动推荐最优模型
原文、版本与许可
MathArena AIME2025固定赛事 ↗
2026-10-14官方模型详情页AIME2025行的有限摘要 · 首次公开具体日期未知 · 收集2026-10-14 · 阅读2026-10-15
定位:逐模型详情页AIME2025 Accuracy/CI/Cost/Output Tokens。范围:公开2025题组;模型/推理档位逐行保留。
单行实际运行日与重复次数未知;赛事后模型可能见过公开题;不是研究级证明。
许可与改编:网页数据许可未单独确认;仅少量公布事实摘要与原文链接,不镜像题目/产物。
LiveCodeBench历史代码生成窗口 ↗
2026-10-14取得的同一公开JSON;仅overall · 首次公开具体日期未知 · 收集2026-10-14 · 阅读2026-10-15
定位:performances_generation.json;默认筛选边界2024-08-01至2025-05-01。范围:454题;实际题目日期2024-08-04至2025-04-07;execution-based pass@1。
不是2026新题实测;模型发布日未可靠建立,全部保持null;不与AIME合并排名。
许可与改编:代码MIT;成绩JSON数据许可未单独确认;仅有限事实摘要。
Epoch ECI固定快照 ↗
2026-10-14取得的CSV;ECI与FrontierCode独立指标 · 首次公开具体日期未知 · 收集2026-10-14 · 阅读2026-10-15
定位:eci_scores.csv;processed_data_for_eci.csv指定benchmark行。范围:跨测试拟合的综合指数;组件保留模型版本,可能取同名同日不同配置的最高成绩。
模型日不等于测量日;本次快照不是逐日历史;组件0–1分不称工作通过率。
许可与改编:Epoch数据CC BY 4.0(当前官方链接核对),署名Epoch AI。
Artificial Analysis成本方法 ↗
2026-10-15读取的方法与现行条款 · 首次公开具体日期未知 · 收集2026-10-14 · 阅读2026-10-15
定位:Cost per Task与Intelligence Index;Terms of Use§2.1/2.2。范围:测试场景的输入/缓存/输出token成本与任务权重;不是完整业务流程费用。
本阶段仅说明指标并链接官方方法;未导入或提供AA数字排行榜。
许可与改编:现行条款限制复制/再发布,数字排行暂不接入公开投影。