深入解释 · 整理2026-10-15
曲线突然跃升,意味着工作能力突然出现吗?
先检查分母、评分量尺与模型配置,再理解增长和预测。
同一表现会被两种评分画成不同曲线
人工构造例:五个字符中答对四个,完全匹配规则给0,逐字符评分给80%。这是说明量尺的假设示例,不是AI实跑。Schaeffer等展示离散评分可形成表观跃迁;Wei等的涌现定义讨论小模型未显现而大模型显现的任务表现。两者提醒检查度量,并不意味着所有突破都不存在。
相关分数可以帮助预测什么
Ruan等用跨模型评测成绩的低维表示预测下游测试,并在留出模型上检验。它是观察性成绩预测,没有随机改变模型训练或证明某个用户工作必然可完成。论文>10%指较弱训练模型与留出较强模型的成绩跨度,不是“预测误差超过10%”。
人工构造的阅读例:用若干代码、常识和数学测试成绩作为输入,预测另一项测试的成绩,再让新模型实际做该测试来核对。它估的是测试表现,不是某个未来日期或完整岗位能力。
模型日横截面不是历史实测
ECI当前快照综合多种测试;X轴按模型发布日展开,只表示该模型在当前文件里的位置。运行日、成绩首次公开日与所用预算不齐全,所以没有把点连成每日能力历史,也不推算行业增长率或倍增时间。不同配置和区间重叠仍要核对。
怎样用于一年、三年的判断
可以明确写出条件:某个固定任务和协议持续改善且独立验收通过,才扩大委派;审查/返工代价增加则收缩。用相关分数或消息份额替代实际通过和采用数据,会把预测做得过于精确。具体工作比例继续保持未知,条件变化进入场景复核。
把未来条件变成学习检查点(编辑建议)
以周报为人工构造学习例:现在先练每个数字都有出处、期间与单位,交一份能用程序复算的结果和来源对账表。
一年复核点:用未见过的跨文件材料练口径统一、独立验收和失败接管;只有留出材料在相同质量与预算下持续通过,才扩大草稿范围。
三年复核点:练版本追溯、已撤销事实与异常处理,比较跨季度的完整人时;返工增加或接收失败就收回委派。时间是重新检查的节点,不是到期必然获得能力的预测。
现在可以带走什么
- 先看评分是否要求整题/局部
- 区分模型日、观察期、成绩公开日
- 把未来判断写成可被证据推翻的条件
原文、版本与许可
观察性缩放与成绩预测 ↗
NeurIPS2024正式论文 · 首次公开具体日期未知 · 收集未单独记录 · 阅读2026-10-15
定位:§3–4;§4.2留出模型预测。范围:跨模型测试分数的低维表示及下游成绩预测。
观察性预测不是训练干预或具体任务通过证据;>10%指训练与留出模型的成绩跨度,不是预测误差。
许可与改编:仅解释和引用;不复制论文或完整模型表。
离散评分如何制造表观跃迁 ↗
arXiv v2(2023-05-22引用版本,非首稿日) · 首次公开2023-05-22 · 收集未单独记录 · 阅读2026-10-15
定位:Figures1/5/6;离散与连续评分比较。范围:评测量尺如何改变可见曲线。
部分量尺的反例,不证明全部能力突破都是假象。
许可与改编:原论文CC BY-NC-ND 4.0;本站仅独立概念/事实说明与原文链接,不再发布论文全文。
涌现能力的操作性定义 ↗
arXiv v2(2022-10-26引用版本,非首稿日) · 首次公开2022-10-26 · 收集未单独记录 · 阅读2026-10-15
定位:§2;Table1/Figures1–3。范围:小模型未显现、大模型显现的任务表现及度量条件。
操作性定义与指定评测,不能直接预测工作自动化临界点。
许可与改编:原论文CC BY 4.0;本站仅有限事实摘要与原文链接。
Epoch ECI固定快照 ↗
2026-10-14取得的CSV;ECI与FrontierCode独立指标 · 首次公开具体日期未知 · 收集2026-10-14 · 阅读2026-10-15
定位:eci_scores.csv;processed_data_for_eci.csv指定benchmark行。范围:跨测试拟合的综合指数;组件保留模型版本,可能取同名同日不同配置的最高成绩。
模型日不等于测量日;本次快照不是逐日历史;组件0–1分不称工作通过率。
许可与改编:Epoch数据CC BY 4.0(当前官方链接核对),署名Epoch AI。