# 当前交付能力与未来3–5年
版本：2026-10-21.workunits.2
四个AI影响显著领域的具体交付任务。按接收目标组织输入、AI执行循环、逐主张证据、工具可得性与验收；同一任务供不同职业按适用主张复用，不代表职业全自动化或本站已实跑。

# 数据与业务分析
数据发现、查询、检查和报告可以合为Agent循环；正确的数据语义和识别条件决定结论能走多远。

# 指标报表：交付可重放的查询、图表与解释

工作单元：W-A01；版本：2026-10-21.workunits.2；复核：2026-10-20
将业务问题变成口径明确、数据可追溯、可重放的查询和分析包，能区分真实变化、数据缺失与口径误差。

## 当前用法
有数据语义、只读查询和独立控制时，可整包委派业务问题到可重放分析；关键口径与结果通过核对后固化刷新。
依据：OpenAI内部数据Agent是厂商自报工程案例；公开data analyst应用提供实现参考。它们展示组织与入口，不提供本例成功率。
来源状态：active
本站记录：本例尚未查询数据或运行Agent；运行数、通过率、费用和人工介入量均为null。

条件：
- 数据血缘/生成逻辑和权限可访问
- 比较窗口与指标语义可接收
- 关键结果有独立参考切片

## 请求与范围
运营问“本周付款用户是否下滑、变化集中在哪些渠道”，已授权查询交易/账号/渠道数据并提供可冻结快照。
业务问题澄清、数据发现、查询、质量诊断和可复算解释属于一次交付；描述性分解不自动提供因果归因。稳定指标在口径接收后固化查询刷新。

## 输入
- 业务问题与可比窗口：要回答付款人数变化及渠道贡献；上海时区、完整周/同比窗、付款状态、测试账号排除、未知渠道和退款处理；有争议时呈现选项和影响。
- 数据语义与访问：冻结数据快照/分区、schema及版本、主外键与粒度、数据生成代码/血缘、延迟/补发规则、脱敏只读查询入口与扫描预算。
- 独立控制：经认可的参考切片/总账控制或独立查询；指定周日16:00 UTC跨周边界、重复支付事件、多渠道映射和null账号记录。

## 交付物
- 问题与指标定义，列出原问题到查询定义的取舍及未决语义
- 参数化SQL/计算代码、引擎与快照版本、运行命令/查询ID、日志和底层结果表
- 可复算周环比与渠道分解、图表和一页解释；未知渠道单列，渠道人数不满足可加性时明确标注
- 对账/连接基数/新鲜度/缺失检查与未解决异常；固定查询刷新入口及schema变化失败信号

## 验收
1. 问题定义与数据口径一致
   方法：接收者核对用户/事件粒度、时区与完整比较窗；独立参考切片覆盖跨周、重复、测试账号、退款与未知账户；SQL语法可不同但结果应等价。
   拒收：按事件行数代替人数；不完整本周对整周；缺账号信息默认真实账号。
2. 连接与控制数不产生虚假变化
   方法：独立检查每次join前后主键数和行数；按接收规则处理渠道一对多；总人数对账，若渠道非互斥不把渠道人数和当总人数。
   拒收：维表多版本使用户翻倍；把未知渠道删去后解释为渠道下降。
3. 交付可重放
   方法：验收者在只读环境用冻结快照、参数、引擎重跑SQL/代码，并从结果重建图表；稳定报表刷新使用已接收程序。
   拒收：只交图片或查询文本而缺表版本；刷新时模型另写SQL导致口径漂移。
4. 解释不过度声称且缺数据可见
   方法：逐条把说明数字回指结果，核对完整性/延迟；制造缺分区或空结果，要求返回数据异常而非业务零值；描述性分解明确不证明原因。
   拒收：null变零；因营销上线时间重合直接声称其导致下降；文字使用不同期间数字。


## 具体例子
输入：设计例：上海时区上一完整周相对前一周付款去重用户变化及渠道贡献；只读payment_events/users/channel_map；测试账号排除，多付款去重，未知渠道保留；快照和真实schema待提供。
预期产物：参数化查询与快照记录、周人数/分解表、控制切片和连接诊断、对应图表/说明；如用户跨渠道，给非可加人数或按批准归属规则重算。没有本例真实结果。 跨渠道用户存在时，可展示非互斥人数，但不能称可相加贡献；要合计贡献应先约定互斥归属或可审计分解。
失败：周日16:00 UTC后的付款落错周；维表join重复用户；缺失分区写成0后宣布业务下滑。

## 工作重组
以前：找表、SQL、导出、作图和口径解释反复交接；执行者凭列名猜测语义。
现在：代理依据问题、语义和只读反馈自行选择数据与探索顺序；发现空结果或异常基数时诊断修订；已接收的稳定报表直接执行程序。无需规定每个问题统一查几张表。
保留：
- 指标用途和取舍确认
- 实际决策的接收责任
新增：
- 查询到数据生成代码的语义核对
- 查询与底层结果同时交付
- 保留口径修正版本且不自动把猜测变为长期事实

## 人的责任与失败接管
明确业务决策及可接受口径，处理语义冲突并接收结论；发现表、写SQL、运行诊断可由代理承担。若要因果结论，另确定识别设计，不由报表验收冒充。
表语义不明时列出字段、候选解释和对结果的影响；连接后空集先检查授权、时窗和粒度；缺分区时标“不完整”，不造业务数值。预算用完保留查询与已知范围，未解决不写成下滑。

## 尚待补足
- 真实业务schema/生成逻辑未绑定
- 未知问题、schema变化与数据延迟条件尚未试验

## 职业与团队下一步
数据分析、分析工程、运营分析
提交指标契约、实际查询、参考切片及口径变化后的修正记录。
对照目标岗位的数据工具、业务和统计深度；区分能做报表、能解释变化与能设计实验。
/explore?purpose=career&domain=analysis
重复查询多，还是表定义和指标口径分散？
AI处理探索性查询，固定程序刷新稳定指标；分析人员维护语义与决策解释。
选一个每周报表，测准备、复核和刷新成本；优先修口径和接口，再选择工具、培养或招聘。
/explore?purpose=team&domain=analysis

## 证据与关系
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：How it works；Context；Evals；Guide the Goal, Not the Path；公开 2026-01-29；核查 2026-10-19；复查 2026-10-26
  支持：支持在语义上下文与结果反馈下组织完整分析任务；支持给目标、让代理自选路径并接入生成语义。
  未覆盖：无本企业题目通过率；不是可下载同配置产品；周付款/渠道规则与控制为本站任务设计，未实测。
- 数据分析应用参考：查询可见，修正明确保存：https://developers.openai.com/cookbook/examples/agents_api/apps/data_analyst/readme
  定位：目标、数据/工具、示例边界与记忆保存；公开 2026-09-10；核查 2026-10-19；复查 2026-10-26
  支持：提供将查询与结果交给使用者核对的实现方式；支持可追溯交付。
  未覆盖：未在本站安装，版本需固定，目标数据需另适配；不提供未知业务问题的稳定性证据。
- /tasks/DATA-02：沿用跨工具指标契约的口径与验收；新层承接完整报表交付。（partial；2026-10-02.2）

## 任务级判断与证据
采用方式：限定条件下整包委派
从证据到建议：内部案例展示从查表到分析的整包路径，公开应用支持可见查询；迁移成立的关键是能提供业务语义与真实只读反馈。因此建议委派完整候选分析，用独立控制验收，不能把内部案例直接写成企业即插即用。
当前可用性：mixed；内部Agent不可直接获取；公开示例提供自建入口。只读仓库/引擎、API账户和语义资产需使用方提供，本例未连库。
- 官方data analyst应用参考：https://developers.openai.com/cookbook/examples/agents_api/apps/data_analyst/readme
  2026-09-10发布页，2026-10-20读取；代码commit需执行时锁定；公开文档/示例，需模型服务及目标数据库适配；不可等同内部Agent。

### OpenAI公开的内部数据Agent案例描述了查表、SQL、结果修正到报告的闭环，但这是专用内部系统的厂商自报。
依据身份：外部报告结果；状态：active
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：How it works；Context is everything；Moving fast without breaking trust；关系：partial
  支持：支持在语义上下文与结果反馈下组织完整分析任务。
  限制：无本企业题目通过率；不是可下载同配置产品。
  核查：2026-10-19；来源状态：active
配置：2026-01-29工程案例；文中GPT-5.2，专用数据/权限/语义与记忆；评价使用人工golden SQL及结果比较，未公开本例样本/重试/成本分母。
适用限制：本站未进行该任务的模型运行，不能据此给出本地成功率。
相关进展（本条判断）：
- 业务问题到报告，数据Agent可以自己循环查数与修正：/explore?purpose=understand&domain=analysis&window=all#P-A-INTERNAL
  首次公开 2026-01-29

### 官方公开data analyst应用可作为查询和结果可见的工程入口，不能把应用参考当能力试验。
依据身份：工具与方法依据；状态：active
- 数据分析应用参考：查询可见，修正明确保存：https://developers.openai.com/cookbook/examples/agents_api/apps/data_analyst/readme
  定位：readme：data analyst app实现及SQL展示/记忆修正；关系：method
  支持：提供将查询与结果交给使用者核对的实现方式。
  限制：未在本站安装，版本需固定，目标数据需另适配。
  核查：2026-10-19；来源状态：active
适用限制：本站未进行该任务的模型运行，不能据此给出本地成功率。
相关进展（本条判断）：
- 分析应用有了可见查询与可保存修正的参考实现：/explore?purpose=understand&domain=analysis&window=all#P-A-APP
  首次公开 2026-09-10

### 本例可在独立口径/结果控制下整包委派；稳定接收后转为参数化刷新，异常才重新探索。
依据身份：有条件的编辑推断；状态：active
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：Lessons #2 Guide the Goal, Not the Path；#3 Meaning Lives in Code；关系：adjacent
  支持：支持给目标、让代理自选路径并接入生成语义。
  限制：周付款/渠道规则与控制为本站任务设计，未实测。
  核查：2026-10-19；来源状态：active
- 数据分析应用参考：查询可见，修正明确保存：https://developers.openai.com/cookbook/examples/agents_api/apps/data_analyst/readme
  定位：SQL query/result visibility；关系：method
  支持：支持可追溯交付。
  限制：不提供未知业务问题的稳定性证据。
  核查：2026-10-19；来源状态：active
适用限制：本站未进行该任务的模型运行，不能据此给出本地成功率。

## 情境变化
### 指标定义含混
输入变化：只问“用户有没有变少”，未说明活跃/付款/账号粒度。
判断变化：先委派问题澄清与几种可比定义的影响分析；避免静默固定最方便的定义。
验收变化：接收者确认用途与口径后，才按该定义验收数字。
### 新鲜度或schema变化
输入变化：最新分区迟到、事件字段改名或生成逻辑已改。
判断变化：先委派数据诊断，报表可交不完整范围，不能完整接收。
验收变化：以版本/新鲜度控制识别故障；修复后重跑原比较窗。
### 要解释活动的因果效果
输入变化：要求回答渠道活动是否导致付款下滑。
判断变化：原报表只接收描述；另需实验/准实验识别任务及假设。
验收变化：增加对照、混杂与识别假设检查，不能由相关性图替代。

研究前沿：外部内部工程案例已把动态数据发现、查询修正、报告与上下文组合；公开参考实现不等于原公司专用Agent可下载。
下一项验证：构造授权数据的小快照，先用独立控制检验跨周/重复/缺分区等验收；再给代理原业务问题且隐藏参考SQL，核对结果并保存澄清、重试、查询扫描量和人工时间。
未来改判信号：
- 扩大：新问题与schema/埋点变化下，代理能识别粒度差异、修正连接并在未知数据时正确返回未解决。
- 收缩：依靠历史固定SQL才对，或语义层过期导致稳定错数；缩到已认可报表刷新并修复语义资产。





# 组成变化诊断：拆清总体变化来自哪里

工作单元：W-A02；版本：2026-10-21.workunits.2；复核：2026-10-20
区分组内表现变化与人群/渠道构成变化，避免被总体指标误导。

## 当前用法
可委派AI计算和解释组成分解；结果可独立复算，但观察分解不能自动变成因果结论。
依据：数据Agent方法支持多轮数据检查；本单元的有限算例有明确恒等式可验收。相邻数据处理案例不等于本题AI已通过。
来源状态：active
本站记录：代表例的参考/反例校准另有记录；未提供真实业务因果或新AI可靠率。

条件：
- 前后数据粒度与口径一致
- 分解公式及缺失组处理已规定
- 解释保留未观察到的混杂与机制

## 请求与范围
前后总体指标明显改变，决策者需要知道哪些可观察部分造成差异。
交付描述性分解和替代解释；仅凭前后数据不判断产品或策略的因果效果。

## 输入
- 分组快照：前后相同粒度的分子分母、渠道/地区等分组、缺失和重复规则。
- 分解定义：固定参考权重与计算公式；明确百分点、相对变化及新增组处理。

## 交付物
- 可复跑分解程序和结果表
- 组内与组成贡献、总变化核对
- 可支持解释与不能归因部分

## 验收
1. 分组与总量对得上
   方法：核对每组分母、权重与总分子分母，先处理零分母和重复行
   拒收：平均各组比率而不按分母加权。
2. 分解完整且定义明确
   方法：验证within+mix=总变化；若改公式，解释交互项归属
   拒收：混用不同权重的公式后把残差藏起来。
3. 解释没有越过识别范围
   方法：复算指标并检查原因措辞，区分百分点和相对百分比
   拒收：把11%到19%写成“增长8%”，或称产品造成8个百分点提升。


## 具体例子
输入：前：A900访问/90转化、B100/20；后：A100/10、B900/180。
预期产物：总体11%→19%，增加8个百分点；两组转化率不变，按固定公式组内贡献0、组成贡献8个百分点。
失败：声称两个渠道都改善或产品提升了8个百分点；忽略高转化渠道占比增加。

限定校准样例（不代表当前代表例的AI运行）：/work-unit-examples/analysis

## 工作重组
以前：人分别取数、算比率、看图并猜原因。
现在：AI把数据核对、精确分解和解释组成一包，按异常回查；计算固定后可自动刷新。
保留：
- 分组有何业务意义
- 因果归因所需条件
新增：
- 显式分解定义
- 检查总体与组内方向不一致
- 记录替代解释

## 人的责任与失败接管
选择有业务意义的分组，说明要做的决策；根据需要补实验或机制证据，而非把描述性分解当决策结论。
缺组、零分母或口径改变时标记不可直接比较项，给补数或重定义方案；不凭空平滑出完整故事。

## 尚待补足
- 真实业务新增/重叠分组、口径变化和解释措辞尚未以独立对账校准；因果效果不在分解内。

## 职业与团队下一步
产品分析、增长分析、商业分析
提供总量到分组的复算、一个反直觉案例，以及没有作因果归因的理由。
对照目标岗位是否要求实验设计或预测建模；缺少这些材料时不要用报表作品冒充全部分析能力。
/explore?purpose=career&domain=analysis
团队对同一总体变化反复给出互相矛盾的解释。
AI和程序完成一致口径的分解；业务分析者检查分组意义，实验负责人决定是否继续识别效果。
选一个争议指标统一分解，再比较补数据、设计实验和直接行动的成本，不以报表数量决定编制。
/explore?purpose=team&domain=analysis

## 证据与关系
- Agent评估：以交付与最终状态验收：https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
  定位：The structure of an evaluation；grader类型；任务设计；公开 2026-01-09；核查 2026-10-19；复查 2026-10-26
  支持：支持独立验收与允许等价实现。
  未覆盖：恒等式不检验业务口径真实，也不提供干预因果解释。
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：How it works；Context；Evals；Guide the Goal, Not the Path；公开 2026-01-29；核查 2026-10-19；复查 2026-10-26
  支持：上下文核对是迁移依据。
  未覆盖：内部系统不等于公开配置；来源未测试本站的组成分解。
- /tasks/DATA-03：保留组成分解旧场景；新交付明确公式、异常处理与职业/团队接续。（partial；2026-10-02.2）

## 任务级判断与证据
采用方式：限定条件下整包委派
从证据到建议：固定公式后可直接交给确定性程序复算；AI负责口径异常、分组探索及解释，不必增加Agent循环。组合恒等式通过只证明计算，不能识别干预效果。
当前可用性：mixed；计算可用SQL/Python直接执行，Agent为可选组织方式；内部数据Agent不是可下载同配置服务。
- SQL/Python分析环境：https://www.python.org/
  执行时固定Python、统计包和数据快照；本站未新运行；公开运行时；业务数据/口径与查询权限由任务方提供

### 明确分组分母、参考权重和新增组约定后，组内与组成贡献可由程序精确分解并以总量恒等式验收。
依据身份：有条件的编辑推断；状态：active
- Agent评估：以交付与最终状态验收：https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
  定位：结果验收与关键反例；关系：method
  支持：支持独立验收与允许等价实现。
  限制：恒等式不检验业务口径真实，也不提供干预因果解释。
  核查：2026-10-19；来源状态：active
适用限制：恒等式不检验业务口径真实，也不提供干预因果解释。

### AI可交付分组诊断、分解与解释，数据定义不一致时应先返回不同比较口径的影响；不承诺相邻分析系统在本题的成功率。
依据身份：有条件的编辑推断；状态：active
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：Context is everything；关系：adjacent
  支持：上下文核对是迁移依据。
  限制：内部系统不等于公开配置；来源未测试本站的组成分解。
  核查：2026-10-19；来源状态：active
适用限制：内部系统不等于公开配置；来源未测试本站的组成分解。

## 情境变化
### 新增退出分组
输入变化：两期类别集合不同或前期零分母。
判断变化：先明确不可比较部分；不能静默补零造出比率。
验收变化：输出可比分组、新增/退出贡献与总量桥接，约定交互项归属。
### 多维交叉与重叠归因
输入变化：渠道×地区与一个对象多标签。
判断变化：可以探索，但固定基准后只按一个无重复归属定义合计。
验收变化：反向核对对象去重、层级总量和权重，避免贡献被算多次。
### 要求策略因果效果
输入变化：希望判断活动是否造成变化。
判断变化：只接收描述性机制线索；改用W-A03识别设计。
验收变化：解释需保留混杂、选择与未观测变量，不能直接推荐因果行动。

研究前沿：既有数据Agent案例是邻近分析工作法；本页8个百分点是确定性算例，不是模型试验。
下一项验证：盲测一个构成变化和一个组内变化的数据包，加入缺组、零分母、重复与新增组，对照独立求和并核对解释。
未来改判信号：
- 口径变化和新分组下仍满足总量核对，解释不越过描述范围，可考虑扩大相近输入范围。
- 缺失/重叠分组导致贡献不可比，或把分解写成因果收益，应收窄或暂停相应采用。





# 实验分析：估计效果，或说明为什么还不能判断

工作单元：W-A03；版本：2026-10-21.workunits.2；复核：2026-10-20
把“看起来变好了”转成有识别依据的效果估计与行动条件。

## 当前用法
可让AI编写分析、检查设计缺口和解释区间；因果结论只在数据与识别条件满足时接收。
依据：分析Agent提供计算与复核工作法；SRM研究说明分配异常会误导决策。此处主要是方法可行性判断，不宣称AI能凭数据补出缺失的随机化。
来源状态：active
本站记录：本站未测本单元的AI分析准确性；旧实验场景可作资料入口。

条件：
- 分配和暴露机制可追溯
- 指标、单位及排除规则明确
- 关键假设有设计或业务证据

## 请求与范围
实验负责人收到A/B数据，或业务希望从观察数据判断某项改变的效果。
先检查设计与数据，再交付估计和不确定性；条件不足时，“不能识别及补救方案”也是合格产物。

## 输入
- 设计与问题：随机化单位、预设指标、分配概率、触发/暴露定义、观察窗和决策门槛。
- 完整记录：分配、暴露、结果、流失和排除记录；重复单位与并行实验信息。

## 交付物
- 设计与数据有效性检查
- 有条件的效应估计、区间和稳健性分析，或不可识别说明
- 缺口的补数/重跑方案与上线决策所需材料

## 验收
1. 样本进入机制可信
   方法：核对分配比例、流失、重复单位、污染及排除规则
   拒收：分组比例明显异常却直接报告显著提升。
2. 估计与设计和问题一致
   方法：确认分析单位、意向处理/暴露口径、相关性与预先约定的检验
   拒收：按会话随机化却按独立用户事件计算过窄区间。
3. 结论与不确定性相称
   方法：报告效应与区间、实践门槛和探索性分析；说明未满足假设
   拒收：挑一个显著分组或停止时点，宣称所有用户有效。


## 具体例子
输入：计划各半分组，实际有900名A、100名B；缺少分配日志，结果指标B更高。
预期产物：先报告样本比例异常与缺失机制，列需要的分配/曝光日志；暂不把差异解释为处理效果。
失败：仅按两组均值做检验，把B的高值称为可直接上线的因果提升。

## 工作重组
以前：分析师写检验、查看显著性，再补充设计解释。
现在：AI可把设计诊断、计算和敏感性检验合为循环；问题不可识别时返回需要的设计或数据，不硬给答案。
保留：
- 目标指标和决策门槛
- 识别假设与上线决定
新增：
- 自动检查分配/暴露不一致
- 防止探索结果伪装成预设检验
- 记录何时应停止解释

## 人的责任与失败接管
确认干预目标、随机化与业务机制，决定在不确定性下采取什么行动；AI能提出诊断但不能创造不存在的对照。
分配异常或严重流失时定位链路、标记受影响结果并提出补数/重跑；观察数据只输出相应条件下的解释。

## 尚待补足
- 目标实验的分配/暴露/流失机制与停止规则尚无完整数据包验证；观察研究识别假设需领域证据。

## 职业与团队下一步
实验分析、产品数据科学、因果推断
展示设计检查、估计区间、关键假设和一个应暂停结论的例子。
根据目标岗位补统计设计、数据工程或业务实验材料；将AI计算与本人设计判断分开呈现。
/explore?purpose=career&domain=analysis
实验跑得多，但分配、记录或解释质量不稳定。
AI做可重复诊断和计算，实验/业务负责人核对识别与行动门槛；工程修数据链路。
按失败来源比较改实验平台、培养设计能力和招聘数据科学人员，先修最影响可信结论的链路。
/explore?purpose=team&domain=analysis

## 证据与关系
- 样本比例异常：实验看似有效也可能有数据问题：https://www.microsoft.com/en-us/research/publication/diagnosing-sample-ratio-mismatch-in-online-controlled-experiments-a-taxonomy-and-rules-of-thumb-for-practitioners/
  定位：作者摘要中的SRM定义、错误决策与诊断范围；公开 2019-07；核查 2026-10-19；复查 2026-10-26
  支持：支持以设计与异常控制保护实验解释。
  未覆盖：这是统计方法研究，不是AI模型成绩。
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：How it works；Context；Evals；Guide the Goal, Not the Path；公开 2026-01-29；核查 2026-10-19；复查 2026-10-26
  支持：邻近分析工作法支持自动组织计算。
  未覆盖：Agent不能从缺失记录补出真实随机化；本站无该任务运行。
- /tasks/DATA-04：沿用实验有效性与区间审核的旧场景；新单元把不可识别及补救作为明确交付。（partial；2026-10-02.2）

## 任务级判断与证据
采用方式：分阶段接收
从证据到建议：程序可整包计算并核对随机分配、区间与切片，但估计对象、暴露机制和停止规则约束因果解释；异常时交付不可识别诊断有实际价值。
当前可用性：mixed；计算可用SQL/Python直接执行，Agent为可选组织方式；内部数据Agent不是可下载同配置服务。
- SQL/Python分析环境：https://www.python.org/
  执行时固定Python、统计包和数据快照；本站未新运行；公开运行时；业务数据/口径与查询权限由任务方提供

### 样本比例异常是实验数据有效性警报，须诊断分配/暴露/流失链路后再解释效果；比例正常也不能证明其他假设成立。
依据身份：工具与方法依据；状态：active
- 样本比例异常：实验看似有效也可能有数据问题：https://www.microsoft.com/en-us/research/publication/diagnosing-sample-ratio-mismatch-in-online-controlled-experiments-a-taxonomy-and-rules-of-thumb-for-practitioners/
  定位：Sample Ratio Mismatch诊断；关系：method
  支持：支持以设计与异常控制保护实验解释。
  限制：这是统计方法研究，不是AI模型成绩。
  核查：2026-10-19；来源状态：active
适用限制：这是统计方法研究，不是AI模型成绩。

### 可让Agent把设计核对、程序估计、稳健性与解释合为交付；若只有观察数据则先给识别假设和不可识别范围。
依据身份：有条件的编辑推断；状态：active
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：查询与上下文核对；关系：adjacent
  支持：邻近分析工作法支持自动组织计算。
  限制：Agent不能从缺失记录补出真实随机化；本站无该任务运行。
  核查：2026-10-19；来源状态：active
适用限制：Agent不能从缺失记录补出真实随机化；本站无该任务运行。

## 情境变化
### 随机对照与聚类
输入变化：用户、地区或门店随机且结果有重复观测。
判断变化：可分阶段接收，分析单位和相关结构先冻结。
验收变化：按随机化单位重算区间、SRM、流失与多重比较；不能把事件当独立用户。
### 只有观察数据
输入变化：上线前后或自选参与，没有随机分配。
判断变化：优先交付识别方案/敏感性而非默认处理效应；可用工具估计条件效应。
验收变化：列因果图/对照构造、平行趋势或其他识别证据与反驳测试。
### 连续查看与多指标
输入变化：多个时点停止、切片挑选显著项。
判断变化：预设停止/纠错方法后再给行动区间；探索需显式标注。
验收变化：记录所有查看与候选，区分探索和确认，复算合适不确定性。

研究前沿：来源支持实验有效性检查与Agent查询方法；未提供自动识别任意因果关系的直接成绩。
下一项验证：冻结随机化/排除/分析计划，用保留的真值模拟数据和异常分配控制校准后，再在真实完整日志上估计效应与区间。
未来改判信号：
- 新实验下设计诊断、估计和区间经独立复算保持一致，可考虑扩大相近输入范围。
- 分配/暴露链缺失、事后挑选指标或停止点导致识别失败，应收窄或暂停相应采用。





# 探索分析交付：分布、关系与时间变化的可重放诊断

工作单元：W-A04；版本：2026-10-21.workunits.2；复核：2026-10-20
针对明确分析问题交付可重放的分布/异常/关系/时间探索和备选解释，保留反证与尚不能归因部分。

## 当前用法
可整包委派数据诊断、探索与解释，固定分析后直接程序重跑；以结果/反证接收，不用一个漂亮故事或组成分解覆盖全部探索。
依据：NIST EDA定义覆盖结构/异常/假设，专用数据Agent案例提供查询-结果反馈的邻近工作法；采用建议为任务适配，不声称此探索题已实测。
来源状态：active
本站记录：本次核查公开资料与任务契约，未在本站运行目标任务或新增模型试次。

条件：
- 冻结过滤/缺失/异常/重复规则、分组与时间粒度、数据许可/预算和可用代码/SQL环境。
- 准备关键汇总/图的独立复算、合理替代与数据错误控制；保留探索路径和挑选过程。

## 请求与范围
明确决策问题、对象/粒度、指标定义、时间/单位与数据生成/采样机制，提供原始表/日志及版本。
不限组成率分解；W-A02只承担其特定组成贡献。探索可生成假设，但不自动给因果或确认性推断，实验/识别另W-A03。

## 输入
- 问题与记录：明确决策问题、对象/粒度、指标定义、时间/单位与数据生成/采样机制，提供原始表/日志及版本。
- 分析约束：冻结过滤/缺失/异常/重复规则、分组与时间粒度、数据许可/预算和可用代码/SQL环境。
- 独立检查：准备关键汇总/图的独立复算、合理替代与数据错误控制；保留探索路径和挑选过程。

## 交付物
- 可重跑查询/程序、数据核对与分析口径
- 分布/尾部/异常、变量关系和时间图表与底层结果
- 备选假设/反证、稳健性/选择影响及下一项可检验问题

## 验收
1. 探索对应同一总体
   方法：独立核对粒度、单位/时间、采样、缺失/重复和过滤后的总量，异常不静默删除。
   拒收：毫秒/秒混用或重复行制造长尾。
2. 发现可复算且不过度挑选
   方法：从程序生成关键分位/关系/时间图，用不同合理过滤/分组/时间窗挑战，记录探索选择。
   拒收：只展示最显著关系或平滑掉变化。
3. 解释守住识别边界
   方法：列至少一个竞争解释与可否定检查，分开统计关联、机制假设和有证据因果。
   拒收：看到发布后尾延迟增大就断言发布造成。


## 具体例子
输入：服务延迟中位数稳定但尾部上升；可能单位混用、重试重复、少数大请求或真实时间变化。
预期产物：数据核对、分布/尾部分位、大小-延迟关系和时间变化，竞争解释/反证及底层表。
失败：删异常/平滑后声称一切正常，或将时间关联当发布因果。

## 工作重组
以前：清洗、看图、猜机制和写报告分散，探索选择不易追踪。
现在：Agent可自主选择SQL/统计程序和图表，依据异常/反证返回数据检查；稳定计算不必循环Agent。
保留：
- 选择问题、可比口径和业务机制，确认需要何种下一步实验；不从故事流畅决定行动。
新增：
- 列至少一个竞争解释与可否定检查，分开统计关联、机制假设和有证据因果。

## 人的责任与失败接管
选择问题、可比口径和业务机制，确认需要何种下一步实验；不从故事流畅决定行动。
不可比/缺关键字段先交数据诊断与影响范围，不凭空补机制；预算内未找到解释也保留已排除假设。

## 尚待补足
- 取一包含单位错误、重复及真实延迟长尾的数据，冻结问题；Agent交分布/关系/时间探索，独立复算并用替代解释挑战。

## 职业与团队下一步
数据科学与探索分析
可重跑查询/程序、数据核对与分析口径
取一包含单位错误、重复及真实延迟长尾的数据，冻结问题；Agent交分布/关系/时间探索，独立复算并用替代解释挑战。
/explore?purpose=career&domain=analysis
NIST EDA定义覆盖结构/异常/假设，专用数据Agent案例提供查询-结果反馈的邻近工作法；采用建议为任务适配，不声称此探索题已实测。
Agent可自主选择SQL/统计程序和图表，依据异常/反证返回数据检查；稳定计算不必循环Agent。
取一包含单位错误、重复及真实延迟长尾的数据，冻结问题；Agent交分布/关系/时间探索，独立复算并用替代解释挑战。
/explore?purpose=team&domain=analysis

## 证据与关系
- NIST工程统计手册：What is EDA：https://www.itl.nist.gov/div898/handbook/eda/section1/eda11.htm
  定位：1.1.1 EDA定义与目的；公开 单页未标日期；核查 2026-10-20；复查 2027-01-20
  支持：定义非组成探索的可接收范围。
  未覆盖：统计方法不是AI表现。
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：How it works；Context；Evals；Guide the Goal, Not the Path；公开 2026-01-29；核查 2026-10-19；复查 2026-10-26
  支持：邻近分析案例支持任务组织。
  未覆盖：内部案例没有测试本分布/关系/时间探索，不能给成功率。


## 任务级判断与证据
采用方式：限定条件下整包委派
从证据到建议：NIST EDA定义覆盖结构/异常/假设，专用数据Agent案例提供查询-结果反馈的邻近工作法；采用建议为任务适配，不声称此探索题已实测。
当前可用性：mixed；公开运行时可用，内部数据Agent不是可下载同配置产品；本站未对新探索题运行模型。
- SQL/Python探索环境：https://www.python.org/
  实际Python/统计包/数据快照固定；公开运行时；目标数据/查询与图表依赖另备

### NIST EDA方法把分布、结构、异常与假设探索纳入分析，不应由单一组成率分解代表。
依据身份：工具与方法依据；状态：active
- NIST工程统计手册：What is EDA：https://www.itl.nist.gov/div898/handbook/eda/section1/eda11.htm
  定位：1.1.1 EDA purpose；关系：method
  支持：定义非组成探索的可接收范围。
  限制：统计方法不是AI表现。
  核查：2026-10-20；来源状态：active
适用限制：统计方法不是AI表现。

### 可把专用数据Agent查询/结果反馈方法迁移到可重放探索，但目标数据定义、竞争假设和独立复算必须显式交付。
依据身份：有条件的编辑推断；状态：active
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
  定位：Context is everything；query/results；关系：partial
  支持：邻近分析案例支持任务组织。
  限制：内部案例没有测试本分布/关系/时间探索，不能给成功率。
  核查：2026-10-19；来源状态：active
适用限制：内部案例没有测试本分布/关系/时间探索，不能给成功率。

## 情境变化
### 分布异常与关系
输入变化：连续/类别变量，存在重尾、异常或混杂。
判断变化：先核对数据生成/单位/过滤，再探索关系。
验收变化：分位/分布/散点与独立汇总、合理过滤敏感性、竞争解释。
### 时间变化与采样
输入变化：时间窗口、采样/季节/部署或记录方式变化。
判断变化：按可比窗口和采样机制接收，不直接归因。
验收变化：时区/时间粒度、缺测/延迟、窗口稳健性和变点解释。

研究前沿：有公开探索统计方法和专用查询Agent案例；目标数据机制/非组成探索尚无本站试验，相关性不能迁移为因果。
下一项验证：取一包含单位错误、重复及真实延迟长尾的数据，冻结问题；Agent交分布/关系/时间探索，独立复算并用替代解释挑战。
未来改判信号：
- 新窗口/数据定义下主要发现可复算且备选解释经得起反证，可扩大探索。
- 单位/选择错误或事后挑图把关联写成因果时拒绝结论。





## 具体工作进展
截至 2026-10-21；下次复查 2026-11-20；首次公开或判断变化日期窗口 all；类型 全部。

### 分析应用有了可见查询与可保存修正的参考实现
2026-09-10 · 工作方法
公开数据分析应用示例把数据发现、只读查询、结果解释与修正保存连接起来。
来源状态：active
结果：有可读实现与工具流程，说明如何把分析Agent接入具体数据环境；不是分析能力试验成绩。
当前行动：选一个指标报表，要求同时交查询、结果和口径；不要自动保存未经确认的推断。
改变步骤：用户不必只相信一段总结，可以检查查询，并决定哪些业务修正值得保留。
以前：在聊天里问数，查询与口径修正散落在上下文。
现在：查询与结果可见；经确认的修正显式保存，后续分析引用明确口径。
配置：Agents API数据分析应用参考；本站未安装或执行该示例。
边界：工程参考需适配数据库和权限，不证明任意分析都正确。
- 指标报表：交付可重放的查询、图表与解释：/work-units/W-A01.md
- 数据分析应用参考：查询可见，修正明确保存：https://developers.openai.com/cookbook/examples/agents_api/apps/data_analyst/readme；定位：目标、数据/工具、示例边界与记忆保存

### 业务问题到报告，数据Agent可以自己循环查数与修正
2026-01-29 · 现场观察
OpenAI内部数据Agent展示从发现数据、运行查询到发布报告的闭环，并强调表的生成逻辑与业务语义。
来源状态：active
结果：内部工程案例公开了上下文层、查询结果核验与报告流程；没有给出本网站任务的通过率。
当前行动：建立关键指标的参考切片与查询，验收相同结果而非SQL字符串一致。
改变步骤：人的指令可以聚焦分析目标；Agent自行查表、检验中间结果并修正查询。
以前：人反复找表、写SQL、发现连接错误，再回到聊天解释背景。
现在：Agent基于数据语义组织查询循环；分析者确认问题、口径和实际决策。
配置：公司内部专用数据、权限和工作流；含参考查询与结果比较的评估方式。
边界：案例不提供通用正确率，也不能从观察数据自动创造因果识别。
- 指标报表：交付可重放的查询、图表与解释：/work-units/W-A01.md
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/；定位：How it works；Context；Evals；Guide the Goal, Not the Path

## 未来3–5年：2029–2031：从回答数据问题到运行学习循环
未来3–5年：2029–2031
分析Agent已展示问题到查询与报告的循环；编程和数学能力提升可能扩展自动诊断、实验分析和模拟。能计算与能识别因果仍是不同条件，以下为情景推演。
来源状态：active
当前建议回答今天怎样交付；未来3–5年指2029–2031。编程的完整交付与数学的开放问题成果，支持认真准备更广泛自主工作的强情景。本站把AGI视作跨领域、能适应新任务且可靠达成复杂目标的讨论对象；这些进展是方向证据，尚不能确认某个AGI定义已满足或必在某年发生。三种情景均给出可观察信号、职责变化与现在行动，不把今天的局限或人的现有分工写成永久边界。
### 基准情景：常规分析按问题整包交付
指标、分解和标准实验检查可由Agent连贯完成，分析师减少搬表和改SQL时间；重复计算固化，新的业务问题继续探索。
成立信号：
- 新问题能选对数据并保持指标语义
- 输出连同查询、口径和检查可重放
- 缺数据时能正确缩窄结论而非编故事
职责变化：分析岗位更常兼顾业务问题、数据语义和实验设计；只会生成图表的差异化下降。
现在行动：沉淀指标语义和真实反例，要求报告回答“下一步什么信息会改变决定”。

### 加速情景：Agent持续提出、检验并更新业务假设
如果跨工具执行、统计推理和目标理解持续改善，Agent可主动发现变化、设计可检验假设、运行授权实验并更新策略，形成跨周的学习循环。
成立信号：
- 在新业务中提出的假设有可验证增益
- 能识别随机化、混杂与外部变化，不只追显著性
- 动作、结果和策略更新有透明记录，失效时能恢复
职责变化：人的职责可能转向选择目标、约束和价值取舍；部分分析与实验规划也可由AI承担，不必把手工审每张图当长期目标。
现在行动：用明确授权的小实验建立从问题到结果的闭环，保留干预和数据生成记录，按净效果扩大范围。

### 受限情景：答案快了，决策学习仍慢
数据缺失、指标漂移、实验难实施或组织不能行动，会限制分析自动化的实际价值。
成立信号：
- 报表增多但决策不变
- 关键数据无法说明生成机制
- 观察相关性反复被误写为因果效果
职责变化：数据工程、业务协作与实验条件建设仍有高价值；分析的瓶颈未必是推理模型。
现在行动：追踪一份报告是否改变行动以及结果，优先补采集和设计；减少不被使用的图表与重复报告。
观察：
- 未见业务问题的口径保持和结果核验
- 实验与实际动作后的可识别效果
- 报告数量之外的决策周期、错误行动与学习收益
依据：
- OpenAI内部分析Agent：从业务问题到查询与报告：https://openai.com/index/inside-our-in-house-data-agent/
- 数据分析应用参考：查询可见，修正明确保存：https://developers.openai.com/cookbook/examples/agents_api/apps/data_analyst/readme
- AlphaProof Nexus：形式证明搜索进入开放数学问题：https://arxiv.org/html/2605.22763v1
- 样本比例异常：实验看似有效也可能有数据问题：https://www.microsoft.com/en-us/research/publication/diagnosing-sample-ratio-mismatch-in-online-controlled-experiments-a-taxonomy-and-rules-of-thumb-for-practitioners/

## 工具与采用佐证
### RD-Agent：研究、实现与反馈可以形成循环
来源状态：active
核查层级：implementation_inspected；日期：2026-10-19；版本：484776c211e4fbbeef03e0ec00d6bbee7362a4f4
原始主张：项目声明自动开展量化因子/模型研究，并提供数据科学场景。
已检查：固定commit的README、许可证、factor.py和model.py已读；可见研发循环、执行结果和失败反馈的实现入口。
支持：对金融研究备忘录和可重放分析包提供相邻运行方法：把假设、代码、结果与反馈一并保存。
限制：量化因子回测不等于财务对账或投资收益；本轮未复现其模型/回测，不采用README收益数字作本站能力结论。
下一步：选择截止时间锁定的公开数据，保留训练/验证/测试分隔、交易成本和全部候选，独立复算结果；与固定脚本比较人工复核时间。
https://github.com/microsoft/RD-Agent/blob/484776c211e4fbbeef03e0ec00d6bbee7362a4f4/README.md