# 验收器与测试资产交付：能拒绝错误，也能接受合法替代

工作单元：W-C12；版本：2026-10-21.workunits.2；复核：2026-10-20
交付可运行的行为测试/复现与风险覆盖说明，使它捕获已知错误而不把正确实现误判为失败。

## 当前用法
可委派Agent从行为到测试/复现再校准；先证明检查能区分正反控制，再拿它接收功能或发布。
依据：SWT-Bench公开给出仓库级复现测试、gold patches和执行日志，能检查错误前失败与修复后通过。
来源状态：active
本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。

条件：
- 固定基线、一个正确/合法替代、一个有实际错误的版本及环境/数据；避免仅复制被测实现逻辑。
- 提供稳定启动、测试隔离、依赖/时钟/并发控制、日志与允许的运行成本。

## 请求与范围
给用户/系统应满足的结果、重要不变量、历史缺陷与受影响路径；明确无法自动判定的体验或专业条件。
单元、集成、端到端和非功能按风险选取；不把测试条数、覆盖率或CI绿当作系统质量。复杂环境检查结合对应任务包。

## 输入
- 行为与风险：给用户/系统应满足的结果、重要不变量、历史缺陷与受影响路径；明确无法自动判定的体验或专业条件。
- 独立控制：固定基线、一个正确/合法替代、一个有实际错误的版本及环境/数据；避免仅复制被测实现逻辑。
- 可运行反馈：提供稳定启动、测试隔离、依赖/时钟/并发控制、日志与允许的运行成本。

## 交付物
- 可重放测试/复现脚本、测试数据与环境说明
- 正确/错误/合法替代控制结果和失败诊断
- 风险到检查的覆盖映射、遗漏、flaky原因及发布差距

## 验收
1. 确实区分错误
   方法：同一检查在已知错误版本失败、修复/合法替代通过，失败原因对应需求。
   拒收：为某种代码写法锁死断言，合法替代也失败。
2. 不靠环境偶然通过
   方法：重复重放、清空状态、变顺序，明确超时/依赖与并发；记录不稳定失败。
   拒收：测试共享脏数据库或sleep碰巧通过。
3. 覆盖与发布结论相称
   方法：按关键风险、权限/数据/环境路径给剩余风险，使用独立缺陷控制挑战测试。
   拒收：覆盖率100%就认定没有遗漏或安全问题。


## 具体例子
输入：付款重复回调造成双记账，正确替代可用事务或唯一键。
预期产物：两种正确实现通过，双记账和缺权限的实现失败；附隔离数据和事件回放。
失败：只检查某函数被调用一次，错过真实账本副作用。

## 工作重组
以前：QA按用例写脚本，开发修环境，业务最后点验。
现在：Agent可自主构造输入、启动环境、生成检查并用控制修订；程序反复运行，人按风险判断何种证据足够。
保留：
- 确定质量风险和发布容忍；验收器的语义与不可自动判断范围需独立核对。
新增：
- 按关键风险、权限/数据/环境路径给剩余风险，使用独立缺陷控制挑战测试。

## 人的责任与失败接管
确定质量风险和发布容忍；验收器的语义与不可自动判断范围需独立核对。
发现验收器错误先修正并重跑双方控制；环境失败单列，不把失败转跳过后宣布通过。

## 尚待补足
- 尚缺本产品独立真实缺陷、正确与合法替代控制，以及flaky/确认时间记录。

## 职业与团队下一步
软件质量、测试工程
可重放测试/复现脚本、测试数据与环境说明
用一组真实缺陷、正确修复和不同正确实现盲测，冻结需求后让Agent生成检查，再由独立运行核对拒绝/接收、稳定性与诊断质量。
/explore?purpose=career&domain=computing
SWT-Bench直接把复现测试前后运行分开，并区分复现脚本与全套测试。把验收器当交付对象可以合并测试生成/环境诊断/回归，而不强迫先写大量映射实现的测试。
Agent可自主构造输入、启动环境、生成检查并用控制修订；程序反复运行，人按风险判断何种证据足够。
在真实授权任务核对产物、失败、返工与接收时间，再据此配置工具、环境和人员。
/explore?purpose=team&domain=computing

## 证据与关系
- SWT-Bench 官方实现：https://github.com/logic-star-ai/swt-bench
  定位：README：Overview；Unit Test vs Reproduction Script；gold validation；公开 NeurIPS2024；仓库持续更新；核查 2026-10-20；复查 2027-01-20
  支持：提供直接测试任务资产。
  未覆盖：复现脚本模式不包含全套回归；语料不覆盖全部产品风险。


## 任务级判断与证据
采用方式：限定条件下整包委派
从证据到建议：SWT-Bench直接把复现测试前后运行分开，并区分复现脚本与全套测试。把验收器当交付对象可以合并测试生成/环境诊断/回归，而不强迫先写大量映射实现的测试。
当前可用性：mixed；开源测试资产可检查；没有运行新的模型生成测试。
- SWT-Bench：https://github.com/logic-star-ai/swt-bench
  2026-10-20公开仓库HEAD 330a649a764fab2fadaea632776eeae87272f74b；实际运行另固定依赖/镜像/模型；开源；容器、仓库与模型调用预算另备

### SWT-Bench公开给出仓库级复现测试、gold patches和执行日志，能检查错误前失败与修复后通过。
依据身份：可检查产物；状态：active
- SWT-Bench 官方实现：https://github.com/logic-star-ai/swt-bench
  定位：Overview；Gold validation；evaluation logs；关系：partial
  支持：提供直接测试任务资产。
  限制：复现脚本模式不包含全套回归；语料不覆盖全部产品风险。
  核查：2026-10-20；来源状态：active
适用限制：复现脚本模式不包含全套回归；语料不覆盖全部产品风险。

### 可让AI交付并校准验收器，先用真实正反控制和合理替代测试它，再用它判断其他Agent产物。
依据身份：有条件的编辑推断；状态：active
- SWT-Bench 官方实现：https://github.com/logic-star-ai/swt-bench
  定位：Unit Test mode vs Reproduction Script mode；关系：partial
  支持：支持按实际执行结果检查测试。
  限制：不能由已知控制表现推出未知缺陷检出率。
  核查：2026-10-20；来源状态：active
适用限制：不能由已知控制表现推出未知缺陷检出率。

## 情境变化
### 端到端与真实环境
输入变化：浏览器、设备、DB或硬件行为重要。
判断变化：脚本可委派，但必须与目标环境实际状态连接。
验收变化：采用W-C04/C05/C07/C10环境不变量，Mock边界显式记录。
### 非功能与对抗输入
输入变化：性能、负载、权限或并发条件主导风险。
判断变化：冻结负载/故障/对抗控制后分阶段接收。
验收变化：预算与阈值不能事后修改；检查负控制和副作用。
### 回归与发布
输入变化：测试来自修复或持续交付。
判断变化：交付发布差距与证据，不能只给总通过数。
验收变化：历史错误重放、flaky隔离、关键风险未覆盖与版本差异。

研究前沿：公开有仓库级测试生成与gold控制；它的覆盖变化不等于业务查全率，真实浏览器/移动/硬件验收还需环境。
下一项验证：用一组真实缺陷、正确修复和不同正确实现盲测，冻结需求后让Agent生成检查，再由独立运行核对拒绝/接收、稳定性与诊断质量。
未来改判信号：
- 独立新缺陷被捕获，正确和合理替代被接收，flaky成本可控，可考虑扩大相近输入范围。
- 测试只迎合某种写法、环境偶然通过或关键错误漏检，应收窄或暂停相应采用。

## 与本单元直接关联的进展
尚未收录与本单元直接关联的新进展。当前用法依据本页的方法与验收资料，不能套用同领域其他任务的成果。

领域背景与未来情景：/explore?purpose=understand&domain=computing


## 工具与采用佐证