WORK / RESEARCH · AI产品经理
探索任务、假设与人工预算
按具体工作核对AI分工、完整人工负担与验收。范围和口径始终在图旁标明。
任务与人工预算探索
选择只改变条件演算的范围。共同分母为所选任务的合成基线;跨链出现的任务只计算一次。没有相同范围的真实对照,不能把差额称为已实现节时。
当前助手 · 1个父任务 · 父级汇总 · 当前重估条件
固定参考模型M
当前任务 · PM16
维护 AI 功能评测样例与质量分析
要接收的产物:版本化样例清单、隔离划分、冻结评测全量试次、争议评分、错误分析和回归建议。
产品要求、授权样例、当前冻结rubric、模型/工具配置、执行预算、数据版本和保留规则已给定;6条候选样例需要单独核对答案依据。
情景合同、参数及比较限制
- execution
- 人在获准工具中准备输入、提交单次任务和搬运输出;允许单次工件独立生成,不假设跨工具自动链路。
- review
- 每份输出由人验收;按任务卡逐项确认关键口径/引用/业务结论。既有普通工具可用,但不假定新增自动质量门。
- qualityGate
- 各子任务通过自身验收,组合满足相同父级交付门槛;抽查率是实验设计条件,不是已证明该策略足够安全或等质。质量未验证时只能报告条件假设。
- budgetPolicy
- 比较固定业务输出与同一每任务推理/重试预算上限;本轮没有运行系统,数值为对该条件的编辑判断。
- machineChecks
- 无新增Harness质量门;任务卡已有的只读查询/脚本可由人触发。
- sampleFraction
- 1
局部敏感性只改变独立执行份额,沿用活动费率;不是置信区间或全部成本上下界。
当前父级与子级来自同一本账,不构成相互独立验证。PM历史直接父估算与当前重估跨版本,差异同时包含参数变更;五年期没有v11对应值。历史逐子行没有在本页导入,子级切换时保留缺值。
“可参与但未采用”是策略保留量E−A,不是能力禁止;B−S−E也只是分析者的条件判断,未经实测排除。人工负担包括未采用的原工作,不能将所有人工称为不能使用AI。
共享维护只在PM18/SE20记一次;子表维护另列,不能将父级H与子级H再相加。软件服务集成已含在人工活动中,S与D为互斥的基线分配,不能再与H相加。
不同情景下,人仍需投入多少工作
交互图未加载时可阅读下面情景总账;所有单元保留相同数字与缺值。
| 情景 | 人工H | 敏感性范围 | 独立执行D/B | 服务替代S/B |
|---|---|---|---|---|
| 当前助手 | 5 小时 | 4.8–5.2 | 11.6% | 0% |
| 工具Agent | 4.4 小时 | 4.2–4.6 | 18.5% | 0% |
| 验证型Harness | 4 小时 | 3.7–4.3 | 28.2% | 0% |
| 模型突破假设 | 3.5 小时 | 3.1–3.8 | 39.5% | 0% |
| Harness突破假设 | 3.6 小时 | 3.3–3.9 | 35.1% | 0% |
| 近期RSI假设 | 3.1 小时 | 2.7–3.6 | 47.4% | 0% |
| 五年期强RSI假设 | 0.7 小时 | 0.5–1.1 | 88.6% | 0% |
任务在不同情景中的独立执行份额
D/B,按基线工作量加权。点击格子会选中对应任务与情景;缺值留空,不是成功率。
精确份额见明细与完整数据下载。
合成工作量由哪些任务组成
面积代表基线分钟,点击任务可查看它的交付与预算。父级视图先显示任务;子级视图显示子项。面积不表达能力结论。
父、子任务及分钟在下方任务表中完整保留。
当前选择的完整人工活动账本:准备、处理、审阅、交接、返工与逐项理由
PM16 · 维护 AI 功能评测样例与质量分析 · 当前重估账本(不随历史口径改变)
- scenarioId
- current
- parent
- unitId
- PM16
- coverageRationale
- 父级由同一子账本汇总;完整活动与参数见子级。
- nonUseReason
- 固定任务卡输入齐全、工具授权不变;每个片段尝试至少一种有意义的AI辅助,故E=A=B是本次操作策略条件,不是经验成功率、净节时率或已证明能力。失败和接管仍属于已采用。
- uncertainty
- 独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。
- humanActivities
- 说明
- 子任务常规人工之和
- minutes
- 267.750096
- 说明
- 共享维护(仅PM18)
- minutes
- 0
- reworkActivities
- 说明
- 子任务额外返工之和
- minutes
- 34.243011
- children
- unitId
- PM16.01
- scenarioId
- current
- baselineMinutes
- 35
- eligibleMinutes
- 35
- adoptedMinutes
- 35
- delegatedMinutes
- 12.25
- totalMinutes
- 13.340232
- parts
- 0
- 12.590232
- 0.75
- 0
- budgetLow
- 12.274007000000001
- budgetHigh
- 14.406457
- humanActivities
- 编号
- PM16.01.current.01
- category
- setup
- path
- assisted
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:评测维护者确认样例材料有授权且版本可追溯。
- minutes
- 2.75
- 编号
- PM16.01.current.03
- category
- review
- path
- assisted
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:每条样例标明身份、适用规则和答案依据;未知答案保持待裁定。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 2.25
- 编号
- PM16.01.current.04
- category
- setup
- path
- delegated
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:评测维护者确认样例材料有授权且版本可追溯。
- minutes
- 2.25
- 编号
- PM16.01.current.05
- category
- review
- path
- delegated
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:每条样例标明身份、适用规则和答案依据;未知答案保持待裁定。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 1.875
- 编号
- PM16.01.current.02
- category
- assist
- path
- assisted
- 说明
- 条件重估(旧辅助路径费率):AI先协助抽取样例字段、引用位置和版本差异;PM再完成本子任务采用部分所需的补充上下文、修改和业务操作:评测维护者确认样例材料有授权且版本可追溯。
- minutes
- 3.465232
- reworkActivities
- 编号
- PM16.01.current.rw01
- 说明
- 条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:评测维护者确认样例材料有授权且版本可追溯。;只计超出常规检查的返工。
- minutes
- 0.75
- coverageRationale
- AI优先条件:E=A=B=35.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额35%,条件敏感性15–55%;分组extract。有可回源字段、引用和版本,优先建立完整性与对照验证;复杂格式仍可能接管。
- nonUseReason
- 本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
- uncertainty
- 独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
- 来源ID
- QMSUM
- GDPVAL
- unitId
- PM16.02
- scenarioId
- current
- baselineMinutes
- 70
- eligibleMinutes
- 70
- adoptedMinutes
- 70
- delegatedMinutes
- 2.1
- totalMinutes
- 81.56370299999999
- parts
- 0
- 72.71838699999999
- 8.845316
- 0
- budgetLow
- 78.869271
- budgetHigh
- 82.718459
- humanActivities
- 编号
- PM16.02.current.01
- category
- setup
- path
- assisted
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:PM与领域专家逐条裁定新样例的正确答案和严重错误判据。
- minutes
- 13.267974
- 编号
- PM16.02.current.03
- category
- review
- path
- assisted
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:每条gold有可核来源和适用版本;不同专家意见保留差异。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 19.825708
- 编号
- PM16.02.current.04
- category
- setup
- path
- delegated
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:PM与领域专家逐条裁定新样例的正确答案和严重错误判据。
- minutes
- 0.915033
- 编号
- PM16.02.current.05
- category
- review
- path
- delegated
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:每条gold有可核来源和适用版本;不同专家意见保留差异。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 1.372549
- 编号
- PM16.02.current.02
- category
- decision
- path
- assisted
- 说明
- 条件重估(旧辅助路径费率):PM在AI流程中核对AI给出的候选、反证/证据定位并亲自作出最终语义裁定、记录理由;这是真实PM判断时间,计在采用部分,不是未采用或自动决策。
- minutes
- 37.337123
- reworkActivities
- 编号
- PM16.02.current.rw01
- 说明
- 条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:PM与领域专家逐条裁定新样例的正确答案和严重错误判据。;只计超出常规检查的返工。
- minutes
- 8.845316
- coverageRationale
- AI优先条件:E=A=B=70.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额3%,条件敏感性0–10%;分组judge。因果、价值与最终业务判断缺乏便宜的完备判据,辅助机会不等于自主决策。
- nonUseReason
- 本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
- uncertainty
- 独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
- 来源ID
- PMEVAL
- GDPVAL
- unitId
- PM16.03
- scenarioId
- current
- baselineMinutes
- 40
- eligibleMinutes
- 40
- adoptedMinutes
- 40
- delegatedMinutes
- 6
- totalMinutes
- 21.446039
- parts
- 0
- 19.856635
- 1.589404
- 0
- budgetLow
- 19.998803000000002
- budgetHigh
- 22.410863
- humanActivities
- 编号
- PM16.03.current.01
- category
- setup
- path
- assisted
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:评测负责人确认留出集没有被用于当前调参并记录已知暴露。
- minutes
- 3.443709
- 编号
- PM16.03.current.03
- category
- review
- path
- assisted
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:开发样例与留出集没有未披露重叠;已公开样例身份被标明。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 4.238411
- 编号
- PM16.03.current.04
- category
- setup
- path
- delegated
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:评测负责人确认留出集没有被用于当前调参并记录已知暴露。
- minutes
- 1.854305
- 编号
- PM16.03.current.05
- category
- review
- path
- delegated
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:开发样例与留出集没有未披露重叠;已公开样例身份被标明。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 2.119205
- 编号
- PM16.03.current.02
- category
- assist
- path
- assisted
- 说明
- 条件重估(旧辅助路径费率):AI先协助检查重复字段、相似文本和提示中暴露答案的风险;PM再完成本子任务采用部分所需的补充上下文、修改和业务操作:评测负责人确认留出集没有被用于当前调参并记录已知暴露。
- minutes
- 8.201005
- reworkActivities
- 编号
- PM16.03.current.rw01
- 说明
- 条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:评测负责人确认留出集没有被用于当前调参并记录已知暴露。;只计超出常规检查的返工。
- minutes
- 1.589404
- coverageRationale
- AI优先条件:E=A=B=40.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额15%,条件敏感性5–30%;分组verify。可检查出处与一致性,但含语义冲突;验证器本身需要独立审计。
- nonUseReason
- 本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
- uncertainty
- 独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
- 来源ID
- QMSUM
- SPIDER2
- PMEVAL
- unitId
- PM16.04
- scenarioId
- current
- baselineMinutes
- 55
- eligibleMinutes
- 55
- adoptedMinutes
- 55
- delegatedMinutes
- 8.25
- totalMinutes
- 14.671026
- parts
- 0
- 13.811651
- 0.859375
- 0
- budgetLow
- 13.86396
- budgetHigh
- 15.209069
- humanActivities
- 编号
- PM16.04.current.01
- category
- setup
- path
- assisted
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:操作人员处理需授权的启动与故障恢复;机器执行时间不算人工分钟。
- minutes
- 0.751953
- 编号
- PM16.04.current.03
- category
- review
- path
- assisted
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:输入、版本、预算、首试/重试和失败状态完整;本步骤只运行已冻结测试,不创建或改写gold。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 0.859375
- 编号
- PM16.04.current.04
- category
- setup
- path
- delegated
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:操作人员处理需授权的启动与故障恢复;机器执行时间不算人工分钟。
- minutes
- 3.544922
- 编号
- PM16.04.current.05
- category
- review
- path
- delegated
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:输入、版本、预算、首试/重试和失败状态完整;本步骤只运行已冻结测试,不创建或改写gold。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 4.082031
- 编号
- PM16.04.current.02
- category
- assist
- path
- assisted
- 说明
- 条件重估(旧辅助路径费率):AI先协助按固定配置运行测试并收集原始产物和环境状态;PM再完成本子任务采用部分所需的补充上下文、修改和业务操作:操作人员处理需授权的启动与故障恢复;机器执行时间不算人工分钟。
- minutes
- 4.57337
- reworkActivities
- 编号
- PM16.04.current.rw01
- 说明
- 条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:操作人员处理需授权的启动与故障恢复;机器执行时间不算人工分钟。;只计超出常规检查的返工。
- minutes
- 0.859375
- coverageRationale
- AI优先条件:E=A=B=55.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额15%,条件敏感性5–30%;分组verify。评测执行还需检查评价器对真实目标的覆盖。
- nonUseReason
- 本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
- uncertainty
- 独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
- 来源ID
- QMSUM
- SPIDER2
- PMEVAL
- unitId
- PM16.05
- scenarioId
- current
- baselineMinutes
- 90
- eligibleMinutes
- 90
- adoptedMinutes
- 90
- delegatedMinutes
- 2.7
- totalMinutes
- 105.08782
- parts
- 0
- 91.764985
- 13.322835
- 0
- budgetLow
- 101.431754
- budgetHigh
- 106.654705
- humanActivities
- 编号
- PM16.05.current.01
- category
- setup
- path
- assisted
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:独立评审者复核严重错误与评分争议,不让被测模型担任自身gold裁判。
- minutes
- 13.322835
- 编号
- PM16.05.current.03
- category
- review
- path
- assisted
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:自动/初评分与人工裁定分开;关键门槛和未知判定不被平均分掩盖。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 26.07874
- 编号
- PM16.05.current.04
- category
- setup
- path
- delegated
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:独立评审者复核严重错误与评分争议,不让被测模型担任自身gold裁判。
- minutes
- 0.566929
- 编号
- PM16.05.current.05
- category
- review
- path
- delegated
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:自动/初评分与人工裁定分开;关键门槛和未知判定不被平均分掩盖。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 1.133858
- 编号
- PM16.05.current.02
- category
- decision
- path
- assisted
- 说明
- 条件重估(旧辅助路径费率):PM在AI流程中核对AI给出的候选、反证/证据定位并亲自作出最终语义裁定、记录理由;这是真实PM判断时间,计在采用部分,不是未采用或自动决策。
- minutes
- 50.662623
- reworkActivities
- 编号
- PM16.05.current.rw01
- 说明
- 条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:独立评审者复核严重错误与评分争议,不让被测模型担任自身gold裁判。;只计超出常规检查的返工。
- minutes
- 13.322835
- coverageRationale
- AI优先条件:E=A=B=90.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额3%,条件敏感性0–10%;分组judge。因果、价值与最终业务判断缺乏便宜的完备判据,辅助机会不等于自主决策。
- nonUseReason
- 本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
- uncertainty
- 独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
- 来源ID
- PMEVAL
- GDPVAL
- unitId
- PM16.06
- scenarioId
- current
- baselineMinutes
- 70
- eligibleMinutes
- 70
- adoptedMinutes
- 70
- delegatedMinutes
- 10.5
- totalMinutes
- 65.884287
- parts
- 0
- 57.008206
- 8.876081
- 0
- budgetLow
- 61.057106
- budgetHigh
- 69.102408
- humanActivities
- 编号
- PM16.06.current.01
- category
- setup
- path
- assisted
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:PM与工程/领域人员判断哪些解释有证据并选择可复验的问题。
- minutes
- 8.674352
- 编号
- PM16.06.current.03
- category
- review
- path
- assisted
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:观察到的错误与根因假设分开;改进建议对应可验证的下轮测试。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 16.743516
- 编号
- PM16.06.current.04
- category
- setup
- path
- delegated
- 说明
- 条件重估:PM核对并准备本子任务进入AI流程的范围、获准材料与版本;仅计采用片段的主动准备,不含机器等待。子任务活动:PM与工程/领域人员判断哪些解释有证据并选择可复验的问题。
- minutes
- 1.412104
- 编号
- PM16.06.current.05
- category
- review
- path
- delegated
- 说明
- 条件重估:PM按验收条件复核AI处理的采用部分:观察到的错误与根因假设分开;改进建议对应可验证的下轮测试。;异常、关键结论和无法机验项逐项人工核对。
- minutes
- 2.824207
- 编号
- PM16.06.current.02
- category
- assist
- path
- assisted
- 说明
- 条件重估(旧辅助路径费率):AI先协助按工具、检索、输入和输出错误聚类,并提出候选解释;PM再完成本子任务采用部分所需的补充上下文、修改和业务操作:PM与工程/领域人员判断哪些解释有证据并选择可复验的问题。
- minutes
- 27.354027
- reworkActivities
- 编号
- PM16.06.current.rw01
- 说明
- 条件重估(旧费率及情景系数):AI失败/错漏后PM额外纠错、重跑准备或回滚本子任务:PM与工程/领域人员判断哪些解释有证据并选择可复验的问题。;只计超出常规检查的返工。
- minutes
- 8.876081
- coverageRationale
- AI优先条件:E=A=B=70.0,表示尝试辅助全部工作,非保证成功。独立执行中央份额15%,条件敏感性5–30%;分组verify。可检查出处与一致性,但含语义冲突;验证器本身需要独立审计。
- nonUseReason
- 本轮不预设未采用:U=0。缺源/拒绝授权的实例不适用此条件;失败与接管计入AI路径人工,不算成未采用。
- uncertainty
- 独立执行份额为分析者条件判断;公开来源只支持机制及边界,任何百分比均非从基准成绩拟合。保留v11主动活动费率与维护估计作为未验证锚点。 低/高预算仅由独立执行份额高/低端重算,固定旧活动费率。不是置信区间,不覆盖费率、任务基线、维护、分布转移或质量失败的不确定性。
- 来源ID
- QMSUM
- SPIDER2
- PMEVAL
人工预算构成:父级汇总
| 任务 | B | E | A | D | 未采用原工作 | 人工活动 | 返工/接管 | 维护 | H |
|---|---|---|---|---|---|---|---|---|---|
| PM16 维护 AI 功能评测样例与质量分析 | 360 | 360 | 360 | 41.8 | 0 | 267.8 | 34.2 | 0 | 302 |
0 分钟:在所选条件下估为无参与机会;0 分钟:有机会但策略未安排采用;318.2 分钟:已安排AI参与,仍未假设可以独立执行。以上是工作范围的分层,不是额外人工成本。
专题版本 2026-10-24.studies.5 · 原研究数值 2026-10-22.reestimate.2 · 原展示 2026-10-23.viewer.9 · 合成范围 all/PM16
完整任务与验收
当前范围1个父任务、6个子任务。编号保留原专题命名空间,不与EOW工作单元强行一对一对应。
PM16 · 维护 AI 功能评测样例与质量分析 · 基线360分钟
一个合成维护批次:24条既有冻结测试、6条新候选样例、2个固定配置;对冻结集运行1次并交付错误分析。
输入:产品要求、授权样例、当前冻结rubric、模型/工具配置、执行预算、数据版本和保留规则已给定;6条候选样例需要单独核对答案依据。
父级产物:版本化样例清单、隔离划分、冻结评测全量试次、争议评分、错误分析和回归建议。
- 新增gold与既有冻结评测运行分别记录;开发/留出边界可复核。
- 超时、失败、放弃和人工干预保留在全部安排试次中。
- 争议评分与严重错误单列,归因保持为可复验假设。
范围排除:不把公开基准或模型自评分当作本站业务质量结论。;不将平均分换算成PM节时或部署安全批准。
PM16.01 登记样例来源、版本和答案依据 · 35分钟
- 交付物
- 24条冻结样例与6条候选样例的来源、版本和权限清单。
- 验收
- 每条样例标明身份、适用规则和答案依据;未知答案保持待裁定。
- AI参与机会
- 可抽取样例字段、引用位置和版本差异。
- 人的活动
- 评测维护者确认样例材料有授权且版本可追溯。
- 暂停/不采用条件
- 候选样例没有合法来源或答案出处时,不纳入当前评测集。
PM16.02 裁定新样例gold与评分规则适用性 · 70分钟
- 交付物
- 6条候选样例的gold答案、评分依据或待解决争议。
- 验收
- 每条gold有可核来源和适用版本;不同专家意见保留差异。
- AI参与机会
- 可并列候选答案和规则依据,指出可能的歧义。
- 人的活动
- PM与领域专家逐条裁定新样例的正确答案和严重错误判据。
- 暂停/不采用条件
- 权威规则冲突未解或专家无法验证答案时,不冻结该样例的gold。
PM16.03 隔离开发样例与留出集 · 40分钟
- 交付物
- 带访问边界和近重复检查结果的划分清单。
- 验收
- 开发样例与留出集没有未披露重叠;已公开样例身份被标明。
- AI参与机会
- 可检查重复字段、相似文本和提示中暴露答案的风险。
- 人的活动
- 评测负责人确认留出集没有被用于当前调参并记录已知暴露。
- 暂停/不采用条件
- 留出样例已进入提示、训练或人工调参循环且无法替换时,不将该划分称为盲测。
PM16.04 运行既有冻结评测并保留全量试次 · 55分钟
- 交付物
- 24条冻结案例在2个配置下的原始产物、失败和运行轨迹。
- 验收
- 输入、版本、预算、首试/重试和失败状态完整;本步骤只运行已冻结测试,不创建或改写gold。
- AI参与机会
- 可按固定配置运行测试并收集原始产物和环境状态。
- 人的活动
- 操作人员处理需授权的启动与故障恢复;机器执行时间不算人工分钟。
- 暂停/不采用条件
- 配置、测试集hash或预算与冻结登记不一致时,不把运行归入该评测批次。
PM16.05 按冻结rubric评分并裁定争议产物 · 90分钟
- 交付物
- 原始评分、人工复核、争议状态和严重错误记录。
- 验收
- 自动/初评分与人工裁定分开;关键门槛和未知判定不被平均分掩盖。
- AI参与机会
- 可按既有rubric预评分、定位证据片段并聚类疑似错误。
- 人的活动
- 独立评审者复核严重错误与评分争议,不让被测模型担任自身gold裁判。
- 暂停/不采用条件
- 评分rubric版本缺失或评分者无法访问必要上下文时,不给产物确定分数。
PM16.06 分析错误模式与验证改进候选 · 70分钟
- 交付物
- 现象、候选根因、可区分复验和回归建议。
- 验收
- 观察到的错误与根因假设分开;改进建议对应可验证的下轮测试。
- AI参与机会
- 可按工具、检索、输入和输出错误聚类,并提出候选解释。
- 人的活动
- PM与工程/领域人员判断哪些解释有证据并选择可复验的问题。
- 暂停/不采用条件
- 不同配置同时改变多个因素或试次数不可比时,不把分数变化归因于单一改动。
查看完整工作链和反馈依赖
按工作链理解材料与反馈
这些链共享任务,不能按链相加为总工作量。箭头文字说明原材料依赖;循环和例外仍以交付验收为准。
发现与决策 → 按此链探索
把客户与市场线索整理成有依据的问题,再形成取舍与路线图。访谈和外部研究可并行,证据不足时返回发现阶段。
依赖与反馈边
- PM01 → PM04:反馈证据
- PM02 → PM04:访谈发现
- PM03 → PM04:外部证据
- PM04 → PM05:问题与价值假设
- PM05 → PM06:目标与取舍
- PM05 → PM02:待验证假设
定义与交付 → 按此链探索
从路线图与已批准决定进入需求、验收和原型。跨职能评审形成反馈,批准事实才进入发布材料;图中未画出的工程实现由其他角色承担。
依赖与反馈边
- PM06 → PM07:已批准决定
- PM07 → PM08:需求与行为约束
- PM08 → PM11:验证场景
- PM11 → PM12:走查与未决问题
- PM12 → PM07:澄清与修订
- PM12 → PM13:批准事实与范围
观察与改进 → 按此链探索
实验先明确指标与停止规则,再查询数据和观察上线信号。异常进入事实核查与升级,结果回流问题定义;相关变化不自动等于因果效果。
依赖与反馈边
- PM10 → PM09:冻结指标与口径
- PM09 → PM14:诊断结果与异常
- PM14 → PM15:高影响信号
- PM15 → PM04:事实与未知
- PM14 → PM10:新实验问题
AI质量与工作流 → 按此链探索
行为要求、评测、治理证据与权限需求相互约束。这里只表示材料和判断依赖,不代表完成材料即可批准生产上线。
依赖与反馈边
- PM08 → PM16:质量要求与样例
- PM16 → PM18:失败与接管需求
- PM17 → PM18:控制与责任边界
- PM18 → PM12:沙箱结果与待决项
- PM12 → PM14:经批准的观察要求
- PM14 → PM16:回归与新错误