# 实验分析：估计效果，或说明为什么还不能判断

工作单元：W-A03；版本：2026-10-21.workunits.2；复核：2026-10-20
把“看起来变好了”转成有识别依据的效果估计与行动条件。

## 当前用法
可让AI编写分析、检查设计缺口和解释区间；因果结论只在数据与识别条件满足时接收。
依据：分析Agent提供计算与复核工作法；SRM研究说明分配异常会误导决策。此处主要是方法可行性判断，不宣称AI能凭数据补出缺失的随机化。
来源状态：active
本站记录：本站未测本单元的AI分析准确性；旧实验场景可作资料入口。

条件：
- 分配和暴露机制可追溯
- 指标、单位及排除规则明确
- 关键假设有设计或业务证据

## 请求与范围
实验负责人收到A/B数据，或业务希望从观察数据判断某项改变的效果。
先检查设计与数据，再交付估计和不确定性；条件不足时，“不能识别及补救方案”也是合格产物。

## 输入
- 设计与问题：随机化单位、预设指标、分配概率、触发/暴露定义、观察窗和决策门槛。
- 完整记录：分配、暴露、结果、流失和排除记录；重复单位与并行实验信息。

## 交付物
- 设计与数据有效性检查
- 有条件的效应估计、区间和稳健性分析，或不可识别说明
- 缺口的补数/重跑方案与上线决策所需材料

## 验收
1. 样本进入机制可信
   方法：核对分配比例、流失、重复单位、污染及排除规则
   拒收：分组比例明显异常却直接报告显著提升。
2. 估计与设计和问题一致
   方法：确认分析单位、意向处理/暴露口径、相关性与预先约定的检验
   拒收：按会话随机化却按独立用户事件计算过窄区间。
3. 结论与不确定性相称
   方法：报告效应与区间、实践门槛和探索性分析；说明未满足假设
   拒收：挑一个显著分组或停止时点，宣称所有用户有效。


## 具体例子
输入：计划各半分组，实际有900名A、100名B；缺少分配日志，结果指标B更高。
预期产物：先报告样本比例异常与缺失机制，列需要的分配/曝光日志；暂不把差异解释为处理效果。
失败：仅按两组均值做检验，把B的高值称为可直接上线的因果提升。

## 工作重组
以前：分析师写检验、查看显著性，再补充设计解释。
现在：AI可把设计诊断、计算和敏感性检验合为循环；问题不可识别时返回需要的设计或数据，不硬给答案。
保留：
- 目标指标和决策门槛
- 识别假设与上线决定
新增：
- 自动检查分配/暴露不一致
- 防止探索结果伪装成预设检验
- 记录何时应停止解释

## 人的责任与失败接管
确认干预目标、随机化与业务机制，决定在不确定性下采取什么行动；AI能提出诊断但不能创造不存在的对照。
分配异常或严重流失时定位链路、标记受影响结果并提出补数/重跑；观察数据只输出相应条件下的解释。

## 尚待补足
- 目标实验的分配/暴露/流失机制与停止规则尚无完整数据包验证；观察研究识别假设需领域证据。

## 职业与团队下一步
实验分析、产品数据科学、因果推断
展示设计检查、估计区间、关键假设和一个应暂停结论的例子。
根据目标岗位补统计设计、数据工程或业务实验材料；将AI计算与本人设计判断分开呈现。
/explore?purpose=career&domain=analysis
实验跑得多，但分配、记录或解释质量不稳定。
AI做可重复诊断和计算，实验/业务负责人核对识别与行动门槛；工程修数据链路。
按失败来源比较改实验平台、培养设计能力和招聘数据科学人员，先修最影响可信结论的链路。
/explore?purpose=team&domain=analysis

## 证据与关系
- 样本比例异常：实验看似有效也可能有数据问题：https://www.microsoft.com/en-us/research/publication/diagnosing-sample-ratio-mismatch-in-online-controlled-experiments-a-taxonomy-and-rules-of-thumb-for-practitioners/
  定位：作者摘要中的SRM定义、错误决策与诊断范围；公开 2019-07；核查 2026-10-19；复查 2026-10-26
  支持：支持以设计与异常控制保护实验解释。
  未覆盖：这是统计方法研究，不是AI模型成绩。
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：How it works；Context；Evals；Guide the Goal, Not the Path；公开 2026-01-29；核查 2026-10-19；复查 2026-10-26
  支持：邻近分析工作法支持自动组织计算。
  未覆盖：Agent不能从缺失记录补出真实随机化；本站无该任务运行。
- /tasks/DATA-04：沿用实验有效性与区间审核的旧场景；新单元把不可识别及补救作为明确交付。（partial；2026-10-02.2）

## 任务级判断与证据
采用方式：分阶段接收
从证据到建议：程序可整包计算并核对随机分配、区间与切片，但估计对象、暴露机制和停止规则约束因果解释；异常时交付不可识别诊断有实际价值。
当前可用性：mixed；计算可用SQL/Python直接执行，Agent为可选组织方式；内部数据Agent不是可下载同配置服务。
- SQL/Python分析环境：https://www.python.org/
  执行时固定Python、统计包和数据快照；本站未新运行；公开运行时；业务数据/口径与查询权限由任务方提供

### 样本比例异常是实验数据有效性警报，须诊断分配/暴露/流失链路后再解释效果；比例正常也不能证明其他假设成立。
依据身份：工具与方法依据；状态：active
- 样本比例异常：实验看似有效也可能有数据问题：https://www.microsoft.com/en-us/research/publication/diagnosing-sample-ratio-mismatch-in-online-controlled-experiments-a-taxonomy-and-rules-of-thumb-for-practitioners/
  定位：Sample Ratio Mismatch诊断；关系：method
  支持：支持以设计与异常控制保护实验解释。
  限制：这是统计方法研究，不是AI模型成绩。
  核查：2026-10-19；来源状态：active
适用限制：这是统计方法研究，不是AI模型成绩。

### 可让Agent把设计核对、程序估计、稳健性与解释合为交付；若只有观察数据则先给识别假设和不可识别范围。
依据身份：有条件的编辑推断；状态：active
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：查询与上下文核对；关系：adjacent
  支持：邻近分析工作法支持自动组织计算。
  限制：Agent不能从缺失记录补出真实随机化；本站无该任务运行。
  核查：2026-10-19；来源状态：active
适用限制：Agent不能从缺失记录补出真实随机化；本站无该任务运行。

## 情境变化
### 随机对照与聚类
输入变化：用户、地区或门店随机且结果有重复观测。
判断变化：可分阶段接收，分析单位和相关结构先冻结。
验收变化：按随机化单位重算区间、SRM、流失与多重比较；不能把事件当独立用户。
### 只有观察数据
输入变化：上线前后或自选参与，没有随机分配。
判断变化：优先交付识别方案/敏感性而非默认处理效应；可用工具估计条件效应。
验收变化：列因果图/对照构造、平行趋势或其他识别证据与反驳测试。
### 连续查看与多指标
输入变化：多个时点停止、切片挑选显著项。
判断变化：预设停止/纠错方法后再给行动区间；探索需显式标注。
验收变化：记录所有查看与候选，区分探索和确认，复算合适不确定性。

研究前沿：来源支持实验有效性检查与Agent查询方法；未提供自动识别任意因果关系的直接成绩。
下一项验证：冻结随机化/排除/分析计划，用保留的真值模拟数据和异常分配控制校准后，再在真实完整日志上估计效应与区间。
未来改判信号：
- 新实验下设计诊断、估计和区间经独立复算保持一致，可考虑扩大相近输入范围。
- 分配/暴露链缺失、事后挑选指标或停止点导致识别失败，应收窄或暂停相应采用。

## 与本单元直接关联的进展
尚未收录与本单元直接关联的新进展。当前用法依据本页的方法与验收资料，不能套用同领域其他任务的成果。

领域背景与未来情景：/explore?purpose=understand&domain=analysis


## 工具与采用佐证