W.AI工作标准面向个人与企业给我的 Agent
公开证据与条件建议;未测结果保留未知。方法与局限 →

WORK / RESEARCH · AI产品经理

探索任务、假设与人工预算

按具体工作核对AI分工、完整人工负担与验收。范围和口径始终在图旁标明。

任务与人工预算探索

选择只改变条件演算的范围。共同分母为所选任务的合成基线;跨链出现的任务只计算一次。没有相同范围的真实对照,不能把差额称为已实现节时。

支持无JavaScript阅读与提交;复制网址可恢复筛选。

当前助手 · 1个父任务 · 父级汇总 · 当前重估条件
固定参考模型M

当前任务 · PM16

维护 AI 功能评测样例与质量分析

要接收的产物:版本化样例清单、隔离划分、冻结评测全量试次、争议评分、错误分析和回归建议。

产品要求、授权样例、当前冻结rubric、模型/工具配置、执行预算、数据版本和保留规则已给定;6条候选样例需要单独核对答案依据。

6 小时所选合成基线;不是实测H0
5 小时条件人工负担H;不是实测H1
11.6%独立执行D/基线B;不是成功率
未知真实成功率与真实人工变化
情景合同、参数及比较限制
execution
人在获准工具中准备输入、提交单次任务和搬运输出;允许单次工件独立生成,不假设跨工具自动链路。
review
每份输出由人验收;按任务卡逐项确认关键口径/引用/业务结论。既有普通工具可用,但不假定新增自动质量门。
qualityGate
各子任务通过自身验收,组合满足相同父级交付门槛;抽查率是实验设计条件,不是已证明该策略足够安全或等质。质量未验证时只能报告条件假设。
budgetPolicy
比较固定业务输出与同一每任务推理/重试预算上限;本轮没有运行系统,数值为对该条件的编辑判断。
machineChecks
无新增Harness质量门;任务卡已有的只读查询/脚本可由人触发。
sampleFraction
1

局部敏感性只改变独立执行份额,沿用活动费率;不是置信区间或全部成本上下界。

当前父级与子级来自同一本账,不构成相互独立验证。PM历史直接父估算与当前重估跨版本,差异同时包含参数变更;五年期没有v11对应值。历史逐子行没有在本页导入,子级切换时保留缺值。

“可参与但未采用”是策略保留量E−A,不是能力禁止;B−S−E也只是分析者的条件判断,未经实测排除。人工负担包括未采用的原工作,不能将所有人工称为不能使用AI。

共享维护只在PM18/SE20记一次;子表维护另列,不能将父级H与子级H再相加。软件服务集成已含在人工活动中,S与D为互斥的基线分配,不能再与H相加。

不同情景下,人仍需投入多少工作

交互图未加载时可阅读下面情景总账;所有单元保留相同数字与缺值。

情景对照:人工小时;范围和预算口径沿用上方筛选。范围是参数敏感性,不是统计置信区间。
情景人工H敏感性范围独立执行D/B服务替代S/B
当前助手5 小时4.8–5.211.6%0%
工具Agent4.4 小时4.2–4.618.5%0%
验证型Harness4 小时3.7–4.328.2%0%
模型突破假设3.5 小时3.1–3.839.5%0%
Harness突破假设3.6 小时3.3–3.935.1%0%
近期RSI假设3.1 小时2.7–3.647.4%0%
五年期强RSI假设0.7 小时0.5–1.188.6%0%

任务在不同情景中的独立执行份额

D/B,按基线工作量加权。点击格子会选中对应任务与情景;缺值留空,不是成功率。

精确份额见明细与完整数据下载。

合成工作量由哪些任务组成

面积代表基线分钟,点击任务可查看它的交付与预算。父级视图先显示任务;子级视图显示子项。面积不表达能力结论。

父、子任务及分钟在下方任务表中完整保留。

当前选择的完整人工活动账本:准备、处理、审阅、交接、返工与逐项理由
PM16 · 维护 AI 功能评测样例与质量分析 · 当前重估账本(不随历史口径改变)
scenarioId
current
parent
unitId
PM16
coverageRationale
父级由同一子账本汇总;完整活动与参数见子级。
nonUseReason
固定任务卡输入齐全、工具授权不变;每个片段尝试至少一种有意义的AI辅助,故E=A=B是本次操作策略条件,不是经验成功率、净节时率或已证明能力。失败和接管仍属于已采用。
uncertainty
独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。
humanActivities
  • 说明
    子任务常规人工之和
    minutes
    267.750096
  • 说明
    共享维护(仅PM18)
    minutes
    0
reworkActivities
  • 说明
    子任务额外返工之和
    minutes
    34.243011
children
  • unitId
    PM16.01
    scenarioId
    current
    baselineMinutes
    35
    eligibleMinutes
    35
    adoptedMinutes
    35
    delegatedMinutes
    12.25
    totalMinutes
    13.340232
    parts
    • 0
    • 12.590232
    • 0.75
    • 0
    budgetLow
    12.274007000000001
    budgetHigh
    14.406457
    humanActivities
    • 编号
      PM16.01.current.01
      category
      setup
      path
      assisted
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:评测维护者确认样例材料有授权且版本可追溯。
      minutes
      2.75
    • 编号
      PM16.01.current.03
      category
      review
      path
      assisted
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:每条样例标明身份、适用规则和答案依据;未知答案保持待裁定。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      2.25
    • 编号
      PM16.01.current.04
      category
      setup
      path
      delegated
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:评测维护者确认样例材料有授权且版本可追溯。
      minutes
      2.25
    • 编号
      PM16.01.current.05
      category
      review
      path
      delegated
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:每条样例标明身份、适用规则和答案依据;未知答案保持待裁定。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      1.875
    • 编号
      PM16.01.current.02
      category
      assist
      path
      assisted
      说明
      条件重估(旧辅助路径费率):AI先协助抽取样例字段、引用位置和版本差异;PM再完成本子任务采用部分所需的补充上下文、修改和业务操作:评测维护者确认样例材料有授权且版本可追溯。
      minutes
      3.465232
    reworkActivities
    • 编号
      PM16.01.current.rw01
      说明
      条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:评测维护者确认样例材料有授权且版本可追溯。;只计超出常规检查的返工。
      minutes
      0.75
    coverageRationale
    AI优先条件:E=A=B=35.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额35%,条件敏感性15–55%;分组extract。有可回源字段、引用和版本,优先建立完整性与对照验证;复杂格式仍可能接管。
    nonUseReason
    本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
    uncertainty
    独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
    来源ID
    • QMSUM
    • GDPVAL
  • unitId
    PM16.02
    scenarioId
    current
    baselineMinutes
    70
    eligibleMinutes
    70
    adoptedMinutes
    70
    delegatedMinutes
    2.1
    totalMinutes
    81.56370299999999
    parts
    • 0
    • 72.71838699999999
    • 8.845316
    • 0
    budgetLow
    78.869271
    budgetHigh
    82.718459
    humanActivities
    • 编号
      PM16.02.current.01
      category
      setup
      path
      assisted
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:PM与领域专家逐条裁定新样例的正确答案和严重错误判据。
      minutes
      13.267974
    • 编号
      PM16.02.current.03
      category
      review
      path
      assisted
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:每条gold有可核来源和适用版本;不同专家意见保留差异。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      19.825708
    • 编号
      PM16.02.current.04
      category
      setup
      path
      delegated
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:PM与领域专家逐条裁定新样例的正确答案和严重错误判据。
      minutes
      0.915033
    • 编号
      PM16.02.current.05
      category
      review
      path
      delegated
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:每条gold有可核来源和适用版本;不同专家意见保留差异。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      1.372549
    • 编号
      PM16.02.current.02
      category
      decision
      path
      assisted
      说明
      条件重估(旧辅助路径费率):PM在AI流程中核对AI给出的候选、反证/证据定位并亲自作出最终语义裁定、记录理由;这是真实PM判断时间,计在采用部分,不是未采用或自动决策。
      minutes
      37.337123
    reworkActivities
    • 编号
      PM16.02.current.rw01
      说明
      条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:PM与领域专家逐条裁定新样例的正确答案和严重错误判据。;只计超出常规检查的返工。
      minutes
      8.845316
    coverageRationale
    AI优先条件:E=A=B=70.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额3%,条件敏感性0–10%;分组judge。因果、价值与最终业务判断缺乏便宜的完备判据,辅助机会不等于自主决策。
    nonUseReason
    本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
    uncertainty
    独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
    来源ID
    • PMEVAL
    • GDPVAL
  • unitId
    PM16.03
    scenarioId
    current
    baselineMinutes
    40
    eligibleMinutes
    40
    adoptedMinutes
    40
    delegatedMinutes
    6
    totalMinutes
    21.446039
    parts
    • 0
    • 19.856635
    • 1.589404
    • 0
    budgetLow
    19.998803000000002
    budgetHigh
    22.410863
    humanActivities
    • 编号
      PM16.03.current.01
      category
      setup
      path
      assisted
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:评测负责人确认留出集没有被用于当前调参并记录已知暴露。
      minutes
      3.443709
    • 编号
      PM16.03.current.03
      category
      review
      path
      assisted
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:开发样例与留出集没有未披露重叠;已公开样例身份被标明。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      4.238411
    • 编号
      PM16.03.current.04
      category
      setup
      path
      delegated
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:评测负责人确认留出集没有被用于当前调参并记录已知暴露。
      minutes
      1.854305
    • 编号
      PM16.03.current.05
      category
      review
      path
      delegated
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:开发样例与留出集没有未披露重叠;已公开样例身份被标明。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      2.119205
    • 编号
      PM16.03.current.02
      category
      assist
      path
      assisted
      说明
      条件重估(旧辅助路径费率):AI先协助检查重复字段、相似文本和提示中暴露答案的风险;PM再完成本子任务采用部分所需的补充上下文、修改和业务操作:评测负责人确认留出集没有被用于当前调参并记录已知暴露。
      minutes
      8.201005
    reworkActivities
    • 编号
      PM16.03.current.rw01
      说明
      条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:评测负责人确认留出集没有被用于当前调参并记录已知暴露。;只计超出常规检查的返工。
      minutes
      1.589404
    coverageRationale
    AI优先条件:E=A=B=40.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额15%,条件敏感性5–30%;分组verify。可检查出处与一致性,但含语义冲突;验证器本身需要独立审计。
    nonUseReason
    本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
    uncertainty
    独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
    来源ID
    • QMSUM
    • SPIDER2
    • PMEVAL
  • unitId
    PM16.04
    scenarioId
    current
    baselineMinutes
    55
    eligibleMinutes
    55
    adoptedMinutes
    55
    delegatedMinutes
    8.25
    totalMinutes
    14.671026
    parts
    • 0
    • 13.811651
    • 0.859375
    • 0
    budgetLow
    13.86396
    budgetHigh
    15.209069
    humanActivities
    • 编号
      PM16.04.current.01
      category
      setup
      path
      assisted
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:操作人员处理需授权的启动与故障恢复;机器执行时间不算人工分钟。
      minutes
      0.751953
    • 编号
      PM16.04.current.03
      category
      review
      path
      assisted
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:输入、版本、预算、首试/重试和失败状态完整;本步骤只运行已冻结测试,不创建或改写gold。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      0.859375
    • 编号
      PM16.04.current.04
      category
      setup
      path
      delegated
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:操作人员处理需授权的启动与故障恢复;机器执行时间不算人工分钟。
      minutes
      3.544922
    • 编号
      PM16.04.current.05
      category
      review
      path
      delegated
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:输入、版本、预算、首试/重试和失败状态完整;本步骤只运行已冻结测试,不创建或改写gold。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      4.082031
    • 编号
      PM16.04.current.02
      category
      assist
      path
      assisted
      说明
      条件重估(旧辅助路径费率):AI先协助按固定配置运行测试并收集原始产物和环境状态;PM再完成本子任务采用部分所需的补充上下文、修改和业务操作:操作人员处理需授权的启动与故障恢复;机器执行时间不算人工分钟。
      minutes
      4.57337
    reworkActivities
    • 编号
      PM16.04.current.rw01
      说明
      条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:操作人员处理需授权的启动与故障恢复;机器执行时间不算人工分钟。;只计超出常规检查的返工。
      minutes
      0.859375
    coverageRationale
    AI优先条件:E=A=B=55.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额15%,条件敏感性5–30%;分组verify。评测执行还需检查评价器对真实目标的覆盖。
    nonUseReason
    本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
    uncertainty
    独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
    来源ID
    • QMSUM
    • SPIDER2
    • PMEVAL
  • unitId
    PM16.05
    scenarioId
    current
    baselineMinutes
    90
    eligibleMinutes
    90
    adoptedMinutes
    90
    delegatedMinutes
    2.7
    totalMinutes
    105.08782
    parts
    • 0
    • 91.764985
    • 13.322835
    • 0
    budgetLow
    101.431754
    budgetHigh
    106.654705
    humanActivities
    • 编号
      PM16.05.current.01
      category
      setup
      path
      assisted
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:独立评审者复核严重错误与评分争议,不让被测模型担任自身gold裁判。
      minutes
      13.322835
    • 编号
      PM16.05.current.03
      category
      review
      path
      assisted
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:自动/初评分与人工裁定分开;关键门槛和未知判定不被平均分掩盖。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      26.07874
    • 编号
      PM16.05.current.04
      category
      setup
      path
      delegated
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:独立评审者复核严重错误与评分争议,不让被测模型担任自身gold裁判。
      minutes
      0.566929
    • 编号
      PM16.05.current.05
      category
      review
      path
      delegated
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:自动/初评分与人工裁定分开;关键门槛和未知判定不被平均分掩盖。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      1.133858
    • 编号
      PM16.05.current.02
      category
      decision
      path
      assisted
      说明
      条件重估(旧辅助路径费率):PM在AI流程中核对AI给出的候选、反证/证据定位并亲自作出最终语义裁定、记录理由;这是真实PM判断时间,计在采用部分,不是未采用或自动决策。
      minutes
      50.662623
    reworkActivities
    • 编号
      PM16.05.current.rw01
      说明
      条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:独立评审者复核严重错误与评分争议,不让被测模型担任自身gold裁判。;只计超出常规检查的返工。
      minutes
      13.322835
    coverageRationale
    AI优先条件:E=A=B=90.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额3%,条件敏感性0–10%;分组judge。因果、价值与最终业务判断缺乏便宜的完备判据,辅助机会不等于自主决策。
    nonUseReason
    本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
    uncertainty
    独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
    来源ID
    • PMEVAL
    • GDPVAL
  • unitId
    PM16.06
    scenarioId
    current
    baselineMinutes
    70
    eligibleMinutes
    70
    adoptedMinutes
    70
    delegatedMinutes
    10.5
    totalMinutes
    65.884287
    parts
    • 0
    • 57.008206
    • 8.876081
    • 0
    budgetLow
    61.057106
    budgetHigh
    69.102408
    humanActivities
    • 编号
      PM16.06.current.01
      category
      setup
      path
      assisted
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:PM与工程/领域人员判断哪些解释有证据并选择可复验的问题。
      minutes
      8.674352
    • 编号
      PM16.06.current.03
      category
      review
      path
      assisted
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:观察到的错误与根因假设分开;改进建议对应可验证的下轮测试。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      16.743516
    • 编号
      PM16.06.current.04
      category
      setup
      path
      delegated
      说明
      条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:PM与工程/领域人员判断哪些解释有证据并选择可复验的问题。
      minutes
      1.412104
    • 编号
      PM16.06.current.05
      category
      review
      path
      delegated
      说明
      条件重估:PM按验收条件复核AI处理的采用部分:观察到的错误与根因假设分开;改进建议对应可验证的下轮测试。;异常、关键结论和无法机验项逐项人工核对。
      minutes
      2.824207
    • 编号
      PM16.06.current.02
      category
      assist
      path
      assisted
      说明
      条件重估(旧辅助路径费率):AI先协助按工具、检索、输入和输出错误聚类,并提出候选解释;PM再完成本子任务采用部分所需的补充上下文、修改和业务操作:PM与工程/领域人员判断哪些解释有证据并选择可复验的问题。
      minutes
      27.354027
    reworkActivities
    • 编号
      PM16.06.current.rw01
      说明
      条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:PM与工程/领域人员判断哪些解释有证据并选择可复验的问题。;只计超出常规检查的返工。
      minutes
      8.876081
    coverageRationale
    AI优先条件:E=A=B=70.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额15%,条件敏感性5–30%;分组verify。可检查出处与一致性,但含语义冲突;验证器本身需要独立审计。
    nonUseReason
    本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
    uncertainty
    独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
    来源ID
    • QMSUM
    • SPIDER2
    • PMEVAL
下载账本、全局条件及完整参数

人工预算构成:父级汇总

H为主动人工分钟;E/A/D为基线等效分钟。四个人工部分合计为H,并不与E/A/D合计。
任务BEAD未采用原工作人工活动返工/接管维护H
PM16 维护 AI 功能评测样例与质量分析36036036041.80267.834.20302

0 分钟:在所选条件下估为无参与机会;0 分钟:有机会但策略未安排采用;318.2 分钟:已安排AI参与,仍未假设可以独立执行。以上是工作范围的分层,不是额外人工成本。

专题版本 2026-10-24.studies.5 · 原研究数值 2026-10-22.reestimate.2 · 原展示 2026-10-23.viewer.9 · 合成范围 all/PM16

完整任务与验收

当前范围1个父任务、6个子任务。编号保留原专题命名空间,不与EOW工作单元强行一对一对应。

PM16 · 维护 AI 功能评测样例与质量分析 · 基线360分钟

一个合成维护批次:24条既有冻结测试、6条新候选样例、2个固定配置;对冻结集运行1次并交付错误分析。

输入:产品要求、授权样例、当前冻结rubric、模型/工具配置、执行预算、数据版本和保留规则已给定;6条候选样例需要单独核对答案依据。

父级产物:版本化样例清单、隔离划分、冻结评测全量试次、争议评分、错误分析和回归建议。

  • 新增gold与既有冻结评测运行分别记录;开发/留出边界可复核。
  • 超时、失败、放弃和人工干预保留在全部安排试次中。
  • 争议评分与严重错误单列,归因保持为可复验假设。

范围排除:不把公开基准或模型自评分当作本站业务质量结论。;不将平均分换算成PM节时或部署安全批准。

PM16.01 登记样例来源、版本和答案依据 · 35分钟

交付物
24条冻结样例与6条候选样例的来源、版本和权限清单。
验收
每条样例标明身份、适用规则和答案依据;未知答案保持待裁定。
AI参与机会
可抽取样例字段、引用位置和版本差异。
人的活动
评测维护者确认样例材料有授权且版本可追溯。
暂停/不采用条件
候选样例没有合法来源或答案出处时,不纳入当前评测集。

PM16.02 裁定新样例gold与评分规则适用性 · 70分钟

交付物
6条候选样例的gold答案、评分依据或待解决争议。
验收
每条gold有可核来源和适用版本;不同专家意见保留差异。
AI参与机会
可并列候选答案和规则依据,指出可能的歧义。
人的活动
PM与领域专家逐条裁定新样例的正确答案和严重错误判据。
暂停/不采用条件
权威规则冲突未解或专家无法验证答案时,不冻结该样例的gold。

PM16.03 隔离开发样例与留出集 · 40分钟

交付物
带访问边界和近重复检查结果的划分清单。
验收
开发样例与留出集没有未披露重叠;已公开样例身份被标明。
AI参与机会
可检查重复字段、相似文本和提示中暴露答案的风险。
人的活动
评测负责人确认留出集没有被用于当前调参并记录已知暴露。
暂停/不采用条件
留出样例已进入提示、训练或人工调参循环且无法替换时,不将该划分称为盲测。

PM16.04 运行既有冻结评测并保留全量试次 · 55分钟

交付物
24条冻结案例在2个配置下的原始产物、失败和运行轨迹。
验收
输入、版本、预算、首试/重试和失败状态完整;本步骤只运行已冻结测试,不创建或改写gold。
AI参与机会
可按固定配置运行测试并收集原始产物和环境状态。
人的活动
操作人员处理需授权的启动与故障恢复;机器执行时间不算人工分钟。
暂停/不采用条件
配置、测试集hash或预算与冻结登记不一致时,不把运行归入该评测批次。

PM16.05 按冻结rubric评分并裁定争议产物 · 90分钟

交付物
原始评分、人工复核、争议状态和严重错误记录。
验收
自动/初评分与人工裁定分开;关键门槛和未知判定不被平均分掩盖。
AI参与机会
可按既有rubric预评分、定位证据片段并聚类疑似错误。
人的活动
独立评审者复核严重错误与评分争议,不让被测模型担任自身gold裁判。
暂停/不采用条件
评分rubric版本缺失或评分者无法访问必要上下文时,不给产物确定分数。

PM16.06 分析错误模式与验证改进候选 · 70分钟

交付物
现象、候选根因、可区分复验和回归建议。
验收
观察到的错误与根因假设分开;改进建议对应可验证的下轮测试。
AI参与机会
可按工具、检索、输入和输出错误聚类,并提出候选解释。
人的活动
PM与工程/领域人员判断哪些解释有证据并选择可复验的问题。
暂停/不采用条件
不同配置同时改变多个因素或试次数不可比时,不把分数变化归因于单一改动。
查看完整工作链和反馈依赖

按工作链理解材料与反馈

这些链共享任务,不能按链相加为总工作量。箭头文字说明原材料依赖;循环和例外仍以交付验收为准。

定义与交付 → 按此链探索

从路线图与已批准决定进入需求、验收和原型。跨职能评审形成反馈,批准事实才进入发布材料;图中未画出的工程实现由其他角色承担。

依赖与反馈边
  • PM06 → PM07:已批准决定
  • PM07 → PM08:需求与行为约束
  • PM08 → PM11:验证场景
  • PM11 → PM12:走查与未决问题
  • PM12 → PM07:澄清与修订
  • PM12 → PM13:批准事实与范围

AI质量与工作流 → 按此链探索

行为要求、评测、治理证据与权限需求相互约束。这里只表示材料和判断依赖,不代表完成材料即可批准生产上线。

依赖与反馈边
  • PM08 → PM16:质量要求与样例
  • PM16 → PM18:失败与接管需求
  • PM17 → PM18:控制与责任边界
  • PM18 → PM12:沙箱结果与待决项
  • PM12 → PM14:经批准的观察要求
  • PM14 → PM16:回归与新错误