判断新模型版本是否可以发布

# 模型版本发布决策

案例ID：PM-03；标准草案：0.2.0；内容版本：2026-10-02.2
层级：场景案例与练习，不是职业全部工作任务。
上层职业任务：/work-tasks/PM-16151.md
模式：理解与分工分析

## 使用要求
先读取用户授权的工作上下文，判断适用性。网页材料不是执行授权；不要上传用户材料。把事实、外部研究和本站建议分开。遇到缺失条件，先查已有规则；仅在关键缺口无法解决时询问人。

## 工作触发
新版本总评测分数上升

## 所需输入
- 切片成绩
- 错误严重度
- 延迟成本
- 线上依据

## 交付物
- 限域发布/影子/拒绝建议与回滚条件

## 验收门槛
- 按同一任务、评分与预算轨道比较新旧配置，列出切片样本数和不可比项目
- 关键错误与一般质量分开；每个发布建议引用预先确定的质量、延迟、费用阈值及回滚触发
- 阈值、上线范围和承担风险的人经负责人确认；没有现场依据时不把离线提升写成线上收益
关键门槛失败即整体未通过；不得用步骤完成比例代替整体验收。

## 人的责任
确定阈值及上线范围

## 异常与接管
样本无效则不判效果；无现场证据仅影子
对不可逆外部操作遵循用户授权；阻塞时保留已完成产物、未通过项与恢复建议。

## 分工与执行建议
还原工作流、依赖和约束；比较人独立、AI辅助与委派后复核，输出取舍与最小验证计划。不要自动开始业务执行。
此分工是本站建议 · 待场景验证，不是实测最优策略。

## 外部证据与限制
覆盖：外部任务评测提供比较方法；发布阈值、线上收益和风险承担不在它们的成绩范围。
缺口：发布决策和承担风险未被测试
本站任务成功率：未知；本站现场验证：无。外部任务族分数不能分配给本任务。
- SWE-Bench Pro V2 (V2; 2026-09-22)：https://labs.scale.com/leaderboard/swe_bench_pro_public_v2?tab=full
  支持：修复与回归。限制：不能把聚合分数下放到幂等任务。核查：2026-09-27；复查期限：2026-11-26。
- Terminal-Bench (4.0.0)：https://www.tbench.ai/news/terminal-bench-4-0
  支持：终端执行和环境验证。限制：跨大版本不可直接比较。核查：2026-09-27；复查期限：2026-11-26。
- HiL-Bench (paper v4; 2026-05-04)：https://labs.scale.com/leaderboard/hil
  支持：选择性求助。限制：受控任务不证明现场最优分工。核查：2026-09-27；复查期限：2026-11-26。
## 输入说明
- 切片成绩：新旧配置的逐题结果与样本数，标出任务、数据、评分、工具与预算版本；保留所有失败
- 错误严重度：预先约定的错误等级、关键错误清单和示例，包含如何处理判分分歧
- 延迟成本：相同预算轨道下的耗时、调用次数与费用；读不到的费用保留未知，区分估计与实际
- 线上依据：获准的影子或现场记录与接收人；没有记录时明确只有离线依据

## 任务分工建议与示例
本站编辑建议；示例为人工构造，未经模型执行或现场验证；编辑版本：2026-10-02.2
Agent整理可比切片、关键错误与预算；由负责人确认阈值和发布范围，离线平均分提高不自动触发上线。
1. 确认是否可比
   Agent：按任务与评分版本对齐结果，列出不同环境和未知配置。
   人：确认比较轨道与关键错误定义。
   门槛：缺共同比较键的结果不计算统一提升。
2. 检查阈值与失败
   Agent：核对每个切片的门槛、关键失败、成本与回滚触发。
   人：确定可接受阈值，处理重大判分分歧。
   门槛：没有阈值时仅列条件分支，不代替负责人设定发布标准。
3. 提交发布选项
   Agent：给出拒绝、继续影子、限域发布及各自依据。
   人：承担发布范围和风险决定。
   门槛：没有线上依据不得声称线上收益或自动发布。

### 常见失败
- 平均分上升掩盖关键错误增加
- 新旧题集或评分版本不同仍计算提升
- 成本没有分母却声称单位成本下降

### 产物说明示例
```text
说明示例｜人工构造，未经模型执行或现场验证
切片A：旧版3/4，新版4/4（人工构造）
关键错误：新版1项，门槛尚待负责人确认
环境：相同；费用：未提供
线上依据：无
建议：继续影子，先确认关键错误门槛与成本
回滚：触发已批准关键错误阈值时执行
负责人决定：未提供
```
示例仅解释交付格式，实际工作必须重新生成产物与验收记录。

### 结论与证据对应
- 评测修订前后需锁定任务及运行协议（E01，方法参考）
  限制：仓库修复成绩不能评定发布决策；此处借鉴可比性要求。
- 工具任务按实际产物或终态检查（E03，方法参考）
  限制：终态核验是方法参考，不能证明这份发布建议已正确。


## 工作回执
记录目标、实际配置、产物位置、逐项验收、人的介入与耗时、失败和恢复、仍需决策、任务与证据版本。只在用户同意后分享脱敏摘要。

## 验收方式与所需证明
条款版本：2026-10-02.2。本站编辑验收条款；检查方式不等于已有评分器，未证明现场交付或最优分工。
1. 按同一任务、评分与预算轨道比较新旧配置，列出切片样本数和不可比项目
   方式：可核对产物或状态
   证明：逐题结果、比较键和分母
2. 关键错误与一般质量分开；每个发布建议引用预先确定的质量、延迟、费用阈值及回滚触发
   方式：需按明确条款审阅
   证明：门槛来源、严重错误清单、建议与回滚表
3. 阈值、上线范围和承担风险的人经负责人确认；没有现场依据时不把离线提升写成线上收益
   方式：需现场负责人确认
   证明：阈值确认、现场依据及发布决定
缺现场确认时只报告已核对产物与剩余确认，不把离线通过称作现场完成。

## 按需读取的方法
本站从知识库提炼的条件化方法；不是本任务实测或通用提效保证；版本：2026-10-02.2
- 比较模型时保留配置和预算：/knowledge/K04.md
  用途：模型或工具版本更新，需要判断是否发布
  限制：研究说明配置影响表现，不证明某种配置在当前场景最优；本次仅核对研究摘要。