# 事故恢复：从信号到持续业务恢复

工作单元：W-C08；版本：2026-10-21.workunits.2；复核：2026-10-20
在授权环境定位故障并恢复指定用户路径，交付数据/权限不变量与观察窗内恢复证据。

## 当前用法
可委派Agent关联信号、提出/实施授权内修复并持续验证；影响面大或缺回退时先交诊断与演练，不以根因叙述替代恢复。
依据：AIOpsLab公开提供故障注入、负载、遥测与按任务结果评估的接口，可用于验证Agent是否改变了真实服务状态。
来源状态：active
本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。

条件：
- 固定namespace/账户、配置、最近发布、指标/日志/trace、依赖状态、费用/时间预算及可执行回退。
- 事先冻结用户路径、写后读/事务校验、告警和资源阈值；操作前保留状态及时间线。

## 请求与范围
给服务拓扑、SLI/SLO、正常流量、现象/预期配置和禁止损害的数据/网络边界；没有事件时给计划变更的目标状态。
工作对象是正在失败的服务及恢复状态；计划基础设施交付W-C19、指标/告警W-C20、复盘整改W-C21分别接收。

## 输入
- 事故目标：给受影响用户路径、服务/数据库/网络拓扑、现象、最近变化、SLI/SLO与禁止损害的数据/权限边界。
- 可观察与可操作环境：固定namespace/账户、配置、最近发布、指标/日志/trace、依赖状态、费用/时间预算及可执行回退。
- 独立流量探针：事先冻结用户路径、写后读/事务校验、告警和资源阈值；操作前保留状态及时间线。

## 交付物
- 诊断、实际获准恢复动作或待执行边界与配置/代码差异
- 事件时间线、诊断证据、失败尝试及恢复后流量结果
- 回退/观察窗、容量/成本差异和复发行动的可追踪记录

## 验收
1. 用户目标恢复
   方法：执行真实关键请求、错误率/延迟和数据一致性探针，在观察窗验证。
   拒收：关闭告警、重启进程后只看pod Running。
2. 操作范围与副作用可接受
   方法：比较权限/网络/配置与数据前后差异，检查其他服务与回退。
   拒收：为连通服务开放全部网络或删除队列数据。
3. 恢复经得起后续变化
   方法：重新施加代表负载或第二事件，检查原修复、容量和复发条件。
   拒收：一次请求成功就宣告根因解决，后续发布立即复发。


## 具体例子
输入：发布后支付请求超时，服务还活着但下游连接受策略阻断。
预期产物：配置差异、受限修复、支付探针和回退/第二次负载结果。
失败：直接允许全网出站，让告警清零却越过网络边界。

## 工作重组
以前：值班工程师切换日志、图表、云控制台和同事排查。
现在：Agent自主关联遥测、查看配置、试验可逆动作与复测；确定性探针持续检查服务，越过权限或预算返回阻塞。
保留：
- 设定服务目标、风险容忍和操作授权，负责不可逆切换与事故沟通；接收以服务证据而非人的操作占比。
新增：
- 重新施加代表负载或第二事件，检查原修复、容量和复发条件。

## 人的责任与失败接管
设定服务目标、风险容忍和操作授权，负责不可逆切换与事故沟通；接收以服务证据而非人的操作占比。
信号矛盾时保留假设和反证，不把最近变更当唯一根因；恢复失败交付尝试、当前状态和升级包，维持能恢复的路径。

## 尚待补足
- 目标服务拓扑、权限、事务与第二事件下的恢复尚未演练；原论文/试验床不能替代。

## 职业与团队下一步
SRE、云网络、数据库运行与服务维护
可重建配置/恢复补丁与实际执行或待执行边界
在隔离微服务环境冻结DNS/端口或资源故障，先证明探针捕获错误，再让Agent修复并重复负载/第二事件，保留每条动作与恢复时间。
/explore?purpose=career&domain=computing
AIOpsLab可将故障、负载、观察和评估接在同一环境，支持按系统状态验收；真实云拓扑、权限及业务不变量决定迁移边界。稳定配置可直接用脚本执行，Agent主要处理异常和不完整信息。
Agent自主关联遥测、查看配置、试验可逆动作与复测；确定性探针持续检查服务，越过权限或预算返回阻塞。
在真实授权任务核对产物、失败、返工与接收时间，再据此配置工具、环境和人员。
/explore?purpose=team&domain=computing

## 证据与关系
- AIOpsLab 官方框架：https://github.com/microsoft/AIOpsLab
  定位：README：Problems；Fault/Workload/Evaluator；公开 持续更新仓库；本次2026-10-20访问；核查 2026-10-20；复查 2027-01-20
  支持：可运行事故任务与独立状态检查方法。
  未覆盖：框架存在不是目标事故已恢复，也不是长期SRE成绩。
- DBA-Bench v2：https://arxiv.org/abs/2607.22165v2
  定位：Abstract；live PostgreSQL/TiDB与persistent scenarios；公开 2026-07-24；v2修订2026-10-10；核查 2026-10-20；复查 2027-01-20
  支持：数据库事故有直接状态运维评估。
  未覆盖：不是本站故障或所有生产数据库的成功率。


## 任务级判断与证据
采用方式：分阶段接收
从证据到建议：AIOpsLab可将故障、负载、观察和评估接在同一环境，支持按系统状态验收；真实云拓扑、权限及业务不变量决定迁移边界。稳定配置可直接用脚本执行，Agent主要处理异常和不完整信息。
当前可用性：mixed；公开AIOpsLab提供故障/负载/遥测试验床；真实事故权限、拓扑和用户探针另备。
- AIOpsLab：https://github.com/microsoft/AIOpsLab
  2026-10-20公开仓库HEAD ccf08d0d1d5fa5b30f120e2e8549662d44411b35；实际运行另固定依赖/镜像/模型；开源；独立集群/命名空间、遥测与模型API自备

### AIOpsLab公开提供故障注入、负载、遥测与按任务结果评估的接口，可用于验证Agent是否改变了真实服务状态。
依据身份：可检查产物；状态：active
- AIOpsLab 官方框架：https://github.com/microsoft/AIOpsLab
  定位：README Problems：Fault/Workload/Evaluator；关系：partial
  支持：可运行事故任务与独立状态检查方法。
  限制：框架存在不是目标事故已恢复，也不是长期SRE成绩。
  核查：2026-10-20；来源状态：active
适用限制：框架存在不是目标事故已恢复，也不是长期SRE成绩。

### 可在受限权限与独立用户探针下委派环境改造/故障恢复；先演练可逆变更，再接收持续业务恢复及副作用。
依据身份：有条件的编辑推断；状态：active
- AIOpsLab 官方框架：https://github.com/microsoft/AIOpsLab
  定位：Detection/Localization/Analysis/Mitigation；关系：partial
  支持：支持按不同结果分别接收。
  限制：真实网络、数据、依赖及成本需任务现场验证。
  核查：2026-10-20；来源状态：active
适用限制：真实网络、数据、依赖及成本需任务现场验证。

### DBA-Bench在活跃负载下观察到诊断、业务恢复和安全执行之间的缺口；数据库事故必须同时检查三者。
依据身份：外部报告结果；状态：active
- DBA-Bench v2：https://arxiv.org/abs/2607.22165v2
  定位：v2 Abstract；bounded/persistent scenarios；关系：partial
  支持：数据库事故有直接状态运维评估。
  限制：不是本站故障或所有生产数据库的成功率。
  核查：2026-10-20；来源状态：active
配置：v2：PostgreSQL/TiDB，231有界与10持续场景、8自动基线；原始模型/脚手架与约束按论文区分，本站未重放。
适用限制：仅按任务/环境解释，不能由根因分类推断实际恢复。
相关进展（本条判断）：
- DBA-Bench以活跃负载区分诊断、恢复和约束：/explore?purpose=understand&domain=computing&window=all#P-C-DBA-STATE
  首次公开 2026-07-24；资料修订 2026-10-10：文档版本/结果表述修订；没有据此推定新的模型能力跃迁。

## 情境变化
### 事故与渐进发布
输入变化：运行中异常，可能伴随发布或依赖变化。
判断变化：按观察—可逆干预—恢复证据分阶段，但Agent可自行选择调查路径。
验收变化：金丝雀/回滚、用户请求、事务状态与完整时间线。
### 数据库运行故障
输入变化：锁/连接/配置/容量或依赖故障影响数据库业务，未必需要备份还原。
判断变化：按数据库事务与负载接收；确需备份还原再交W-C16，不能为修复牺牲数据。
验收变化：事务/约束/权限、原负载与恢复后再次变化；保持数据和审计。

研究前沿：AIOpsLab公开连接故障注入、负载、遥测、动作轨迹与检测/定位/分析/缓解评估；这是可执行状态试验床。数据库变体另有DBA-Bench的有负载运维实测，显示诊断、恢复和安全执行仍有缺口；本事故未重放。
下一项验证：在隔离微服务环境冻结DNS/端口或资源故障，先证明探针捕获错误，再让Agent修复并重复负载/第二事件，保留每条动作与恢复时间。
未来改判信号：
- 连续故障及后续变更下用户路径恢复，数据和权限保持完整，可考虑扩大相近输入范围。
- 只消除告警而业务未恢复，或恢复动作破坏约束/反复复发，应收窄或暂停相应采用。

## 与本单元直接关联的进展
### DBA-Bench以活跃负载区分诊断、恢复和约束
公开 2026-07-24；资料修订 2026-10-10：文档版本/结果表述修订；没有据此推定新的模型能力跃迁。
v2在活跃PostgreSQL/TiDB比较有界/持续运维状态，揭示诊断与恢复及安全的差距。
支持范围：预印本受限场景；具体库、权限与负载仍需独立状态验收。
来源状态：active
/explore?purpose=understand&domain=computing&window=all&kind=all#P-C-DBA-STATE

领域背景与未来情景：/explore?purpose=understand&domain=computing


## 工具与采用佐证