# 数据工程 岗位方向；职业资料版本 2026-10-21.careers.2；核查 2026-10-20 把分散原始数据变成可追溯、可重复使用的数据资产。 重点是数据获取、转换、质量及服务；分析结论和数据库运维另有侧重。 本页按职责提供公开参照；地域、职级和准入以目标组织的现行要求另核。 名称/别名：数据工程师、数仓开发、大数据开发、ETL、数据平台工程师 来源状态：active ## 职业工作范围 按本职业主要交付组织工作范围；多个目标可以由同一结果包接收。职责来源用于核对工作定义，AI采用、工具可得性和实际表现按各项具体证据判断。这里不是所有地区与细分岗位的完整清单。 ### 数据接入与转换交付 产物：可重放批流管道及来源追踪 内容覆盖：documented；以该应用的具体产物与独立接收条件呈现目标；DBT任务不等于流式全天候可靠率，真实连接器/数据分布需校准。 任务应用：/careers/data-engineer#work-data-engineer-deliverable-1 变体：增量与历史补数 ### 数据模型与服务 产物：按业务口径定义的数据集、模式和访问接口 内容覆盖：documented；以该应用的具体产物与独立接收条件呈现目标；隐含业务定义与消费者用法需实际确认。 任务应用：/careers/data-engineer#work-data-engineer-deliverable-2 变体：语义数据集与治理 ### 数据质量修复 产物：缺失重复、异常、模式漂移的诊断及修复 内容覆盖：documented；以该应用的具体产物与独立接收条件呈现目标；异常是否真实错误取决于数据生成机制，不能只套统计阈值。 任务应用：/careers/data-engineer#work-data-engineer-deliverable-3 变体：增量与历史补数 ### 历史补数与变更 产物：幂等回放、对账和兼容迁移证据 内容覆盖：documented；以该应用的具体产物与独立接收条件呈现目标；不能用一次全量重算代替持续写入条件下兼容验证。 任务应用：/careers/data-engineer#work-data-engineer-deliverable-4 变体：增量与历史补数；在线扩展与收缩 ### 数据资产治理 产物：血缘、权限、保留和口径说明 内容覆盖：documented；以该应用的具体产物与独立接收条件呈现目标；文档清单不能替代实际权限/保留执行证据。 任务应用：/careers/data-engineer#work-data-engineer-deliverable-5 变体：语义数据集与治理 ### 管道运行改善 产物：时效、成本、容量及恢复证据 内容覆盖：documented；以该应用的具体产物与独立接收条件呈现目标；通用负载工具提供方法，目标连接器和调度成本需实际测量。 任务应用：/careers/data-engineer#work-data-engineer-deliverable-6 变体：性能与流水线恢复；服务与网络容量 范围来源：https://www.onetonline.org/link/summary/15-1243.00 当前范围以外： - 数据库底层运行由DBA承接 - 业务因果结论另属分析任务 待补： - 需补真实源系统约束、延迟和补数影响 - 不能把SQL通过当数据语义正确 ## 主要工作与 AI 当前变化 以下条件评估与局部证据分别标示，不表示整项职业已验证。 ### 数据接入与转换交付 可重放批流管道及来源追踪。可把接入/转换/调度和结果核对委派为一包，先固定业务键、迟到与重复语义，稳定后直接程序刷新。 交付物：可重放批流管道及来源追踪 判断依据：可检查产物、有条件的编辑推断 当前变化：可把接入/转换/调度和结果核对委派为一包，先固定业务键、迟到与重复语义，稳定后直接程序刷新。 - 数据管道交付：接入、转换、补数和可信数据集：/work-units/W-C07?version=2026-10-21.workunits.2 数据工程的“数据接入与转换交付”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是可重放批流管道及来源追踪；源到目标键/金额核对，重复/乱序/中断重放，下游读取确认最终状态。（partial；workunits/work-unit/W-C07@2026-10-21.workunits.2） 应用范围：数据工程的“数据接入与转换交付”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是可重放批流管道及来源追踪；源到目标键/金额核对，重复/乱序/中断重放，下游读取确认最终状态。 AI工作组织：Agent可查询元数据、写转换、重放并对账，异常才重新探索；程序持续刷新冻结口径。 ## 任务级判断与证据 采用方式：分阶段接收 从证据到建议：Spider2-DBT提供数据转换仓库任务入口；真实流式/历史补数属于有明确差异的迁移。把对账、水位和修正语义固定，Agent才能从schema搜索到可接收数据。 当前可用性：open-implementation；Spider2-DBT有本地DuckDB/dbt入口；Snowflake另有账号暂停公告，不混同可用性。 - Spider2-DBT：https://github.com/xlang-ai/Spider2 2026-10-20公开仓库HEAD cafb867313aab4e674652054198f383cf4018943；实际运行另固定依赖/镜像/模型；开源本地入口；模型/资源另备 ### Spider2-DBT公开了DuckDB/dbt仓库级任务和运行入口，适合检验schema到转换结果的真实状态。 依据身份：可检查产物；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Overview；Spider2-DBT quickstart；关系：partial 支持：提供数据工程产物任务资产。 限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 核查：2026-10-20；来源状态：active 适用限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 ### 可委派来源到数据集的代码与诊断，独立核对口径、重放和下游状态后接收；不继承数据库恢复实验成绩。 依据身份：有条件的编辑推断；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Spider2-DBT任务入口；关系：partial 支持：仓库级转换任务可检查。 限制：流式迟到/治理与本组织数据未实测。 核查：2026-10-20；来源状态：active 适用限制：流式迟到/治理与本组织数据未实测。 ## 情境变化 ### 增量与历史补数 输入变化：迟到、重复、缺组和人工修正交错。 判断变化：先固定业务键/水位/优先级再实现。 验收变化：多次重放、异常/修正、总量桥接与下游一致。 研究前沿：Spider2-DBT有公开DuckDB/dbt仓库级转换任务和runner，能检验schema到结果；其本地路径不等同全天候流式恢复。维护公告指出Snowflake账户访问受阻，不能把云账号可用性写成已重现结果。 下一项验证：冻结一包重复/迟到/人工修正数据，校准独立对账，再让Agent交管道并注入中断；从下游读取验证重放与新鲜度。 未来改判信号： - 新分区/迟到事件下幂等对账、下游口径和新鲜度同时成立，可考虑扩大相近输入范围。 - 补数覆盖修正、数据重复或schema变化造成静默错误，应收窄或暂停相应采用。 接收/拒收： - 数据语义与完整性正确：以业务键、金额、约束及下游查询核对源到目标；异常分类而非直接丢弃。 拒收：行数相等但JOIN放大金额或口径混用。 - 补数和重跑幂等：施加重复/迟到/中断，重跑并核对人工修正与增量水位。 拒收：补数覆盖后来修正或重跑产生重复数据。 - 可供消费并可维护：验证数据新鲜度、访问正反矩阵、血缘和schema变化下的下游回归，记录资源。 拒收：数据正确但刷新/权限失效，或消费者取到旧schema。 失败处理：对账失败保留异常与可重放中间态；不能删行凑总量或静默改水位。 本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。 尚未覆盖：DBT任务不等于流式全天候可靠率，真实连接器/数据分布需校准。 验证方法：源到目标键/金额核对，重复/乱序/中断重放，下游读取确认最终状态。 ### 数据模型与服务 按业务口径定义的数据集、模式和访问接口。让Agent交数据模型、口径和消费接口，按真实业务样例/权限接收，不以SQL能运行判断语义正确。 交付物：按业务口径定义的数据集、模式和访问接口 判断依据：可检查产物、有条件的编辑推断 当前变化：让Agent交数据模型、口径和消费接口，按真实业务样例/权限接收，不以SQL能运行判断语义正确。 - 数据管道交付：接入、转换、补数和可信数据集：/work-units/W-C07?version=2026-10-21.workunits.2 数据工程的“数据模型与服务”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是按业务口径定义的数据集、模式和访问接口；粒度、归属、时间/空值规则、血缘与下游查询正反例；数据/口径版本一起记录。（partial；workunits/work-unit/W-C07@2026-10-21.workunits.2） 应用范围：数据工程的“数据模型与服务”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是按业务口径定义的数据集、模式和访问接口；粒度、归属、时间/空值规则、血缘与下游查询正反例；数据/口径版本一起记录。 AI工作组织：Agent可查询元数据、写转换、重放并对账，异常才重新探索；程序持续刷新冻结口径。 ## 任务级判断与证据 采用方式：分阶段接收 从证据到建议：Spider2-DBT提供数据转换仓库任务入口；真实流式/历史补数属于有明确差异的迁移。把对账、水位和修正语义固定，Agent才能从schema搜索到可接收数据。 当前可用性：open-implementation；Spider2-DBT有本地DuckDB/dbt入口；Snowflake另有账号暂停公告，不混同可用性。 - Spider2-DBT：https://github.com/xlang-ai/Spider2 2026-10-20公开仓库HEAD cafb867313aab4e674652054198f383cf4018943；实际运行另固定依赖/镜像/模型；开源本地入口；模型/资源另备 ### Spider2-DBT公开了DuckDB/dbt仓库级任务和运行入口，适合检验schema到转换结果的真实状态。 依据身份：可检查产物；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Overview；Spider2-DBT quickstart；关系：partial 支持：提供数据工程产物任务资产。 限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 核查：2026-10-20；来源状态：active 适用限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 ### 可委派来源到数据集的代码与诊断，独立核对口径、重放和下游状态后接收；不继承数据库恢复实验成绩。 依据身份：有条件的编辑推断；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Spider2-DBT任务入口；关系：partial 支持：仓库级转换任务可检查。 限制：流式迟到/治理与本组织数据未实测。 核查：2026-10-20；来源状态：active 适用限制：流式迟到/治理与本组织数据未实测。 ## 情境变化 ### 语义数据集与治理 输入变化：多人消费、指标口径、权限/保留变化。 判断变化：数据与语义/访问接口一起接收。 验收变化：口径版本、血缘、权限正反例、到期保留和消费者回归。 研究前沿：Spider2-DBT有公开DuckDB/dbt仓库级转换任务和runner，能检验schema到结果；其本地路径不等同全天候流式恢复。维护公告指出Snowflake账户访问受阻，不能把云账号可用性写成已重现结果。 下一项验证：冻结一包重复/迟到/人工修正数据，校准独立对账，再让Agent交管道并注入中断；从下游读取验证重放与新鲜度。 未来改判信号： - 新分区/迟到事件下幂等对账、下游口径和新鲜度同时成立，可考虑扩大相近输入范围。 - 补数覆盖修正、数据重复或schema变化造成静默错误，应收窄或暂停相应采用。 接收/拒收： - 数据语义与完整性正确：以业务键、金额、约束及下游查询核对源到目标；异常分类而非直接丢弃。 拒收：行数相等但JOIN放大金额或口径混用。 - 补数和重跑幂等：施加重复/迟到/中断，重跑并核对人工修正与增量水位。 拒收：补数覆盖后来修正或重跑产生重复数据。 - 可供消费并可维护：验证数据新鲜度、访问正反矩阵、血缘和schema变化下的下游回归，记录资源。 拒收：数据正确但刷新/权限失效，或消费者取到旧schema。 失败处理：对账失败保留异常与可重放中间态；不能删行凑总量或静默改水位。 本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。 尚未覆盖：隐含业务定义与消费者用法需实际确认。 验证方法：粒度、归属、时间/空值规则、血缘与下游查询正反例；数据/口径版本一起记录。 ### 数据质量修复 缺失重复、异常、模式漂移的诊断及修复。可委派缺失/重复/漂移诊断和修复，异常来源及清洗影响保留，不能删坏行后伪装质量改善。 交付物：缺失重复、异常、模式漂移的诊断及修复 判断依据：可检查产物、有条件的编辑推断 当前变化：可委派缺失/重复/漂移诊断和修复，异常来源及清洗影响保留，不能删坏行后伪装质量改善。 - 数据管道交付：接入、转换、补数和可信数据集：/work-units/W-C07?version=2026-10-21.workunits.2 数据工程的“数据质量修复”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是缺失重复、异常、模式漂移的诊断及修复；注入重复/缺字段/类型漂移，核对清洗前后金额/键和异常分流。（partial；workunits/work-unit/W-C07@2026-10-21.workunits.2） 应用范围：数据工程的“数据质量修复”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是缺失重复、异常、模式漂移的诊断及修复；注入重复/缺字段/类型漂移，核对清洗前后金额/键和异常分流。 AI工作组织：Agent可查询元数据、写转换、重放并对账，异常才重新探索；程序持续刷新冻结口径。 ## 任务级判断与证据 采用方式：分阶段接收 从证据到建议：Spider2-DBT提供数据转换仓库任务入口；真实流式/历史补数属于有明确差异的迁移。把对账、水位和修正语义固定，Agent才能从schema搜索到可接收数据。 当前可用性：open-implementation；Spider2-DBT有本地DuckDB/dbt入口；Snowflake另有账号暂停公告，不混同可用性。 - Spider2-DBT：https://github.com/xlang-ai/Spider2 2026-10-20公开仓库HEAD cafb867313aab4e674652054198f383cf4018943；实际运行另固定依赖/镜像/模型；开源本地入口；模型/资源另备 ### Spider2-DBT公开了DuckDB/dbt仓库级任务和运行入口，适合检验schema到转换结果的真实状态。 依据身份：可检查产物；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Overview；Spider2-DBT quickstart；关系：partial 支持：提供数据工程产物任务资产。 限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 核查：2026-10-20；来源状态：active 适用限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 ### 可委派来源到数据集的代码与诊断，独立核对口径、重放和下游状态后接收；不继承数据库恢复实验成绩。 依据身份：有条件的编辑推断；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Spider2-DBT任务入口；关系：partial 支持：仓库级转换任务可检查。 限制：流式迟到/治理与本组织数据未实测。 核查：2026-10-20；来源状态：active 适用限制：流式迟到/治理与本组织数据未实测。 ## 情境变化 ### 增量与历史补数 输入变化：迟到、重复、缺组和人工修正交错。 判断变化：先固定业务键/水位/优先级再实现。 验收变化：多次重放、异常/修正、总量桥接与下游一致。 研究前沿：Spider2-DBT有公开DuckDB/dbt仓库级转换任务和runner，能检验schema到结果；其本地路径不等同全天候流式恢复。维护公告指出Snowflake账户访问受阻，不能把云账号可用性写成已重现结果。 下一项验证：冻结一包重复/迟到/人工修正数据，校准独立对账，再让Agent交管道并注入中断；从下游读取验证重放与新鲜度。 未来改判信号： - 新分区/迟到事件下幂等对账、下游口径和新鲜度同时成立，可考虑扩大相近输入范围。 - 补数覆盖修正、数据重复或schema变化造成静默错误，应收窄或暂停相应采用。 接收/拒收： - 数据语义与完整性正确：以业务键、金额、约束及下游查询核对源到目标；异常分类而非直接丢弃。 拒收：行数相等但JOIN放大金额或口径混用。 - 补数和重跑幂等：施加重复/迟到/中断，重跑并核对人工修正与增量水位。 拒收：补数覆盖后来修正或重跑产生重复数据。 - 可供消费并可维护：验证数据新鲜度、访问正反矩阵、血缘和schema变化下的下游回归，记录资源。 拒收：数据正确但刷新/权限失效，或消费者取到旧schema。 失败处理：对账失败保留异常与可重放中间态；不能删行凑总量或静默改水位。 本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。 尚未覆盖：异常是否真实错误取决于数据生成机制，不能只套统计阈值。 验证方法：注入重复/缺字段/类型漂移，核对清洗前后金额/键和异常分流。 ### 历史补数与变更 幂等回放、对账和兼容迁移证据。历史补数按幂等/修正优先级接收；涉及schema切换时另接旧新并存迁移与回退结果。 交付物：幂等回放、对账和兼容迁移证据 判断依据：可检查产物、有条件的编辑推断 当前变化：历史补数按幂等/修正优先级接收；涉及schema切换时另接旧新并存迁移与回退结果。 - 数据管道交付：接入、转换、补数和可信数据集：/work-units/W-C07?version=2026-10-21.workunits.2 数据工程的“历史补数与变更”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是幂等回放、对账和兼容迁移证据；重复回放、水位/人工修正与金额对账，迁移中断后旧新消费者都能继续。（partial；workunits/work-unit/W-C07@2026-10-21.workunits.2） - 数据与schema切换：兼容迁移及可回退状态：/work-units/W-C17?version=2026-10-21.workunits.2 数据工程的“历史补数与变更”使用数据与schema切换：兼容迁移及可回退状态，输入/接收对象是幂等回放、对账和兼容迁移证据；重复回放、水位/人工修正与金额对账，迁移中断后旧新消费者都能继续。（partial；workunits/work-unit/W-C17@2026-10-21.workunits.2） 应用范围：数据工程的“历史补数与变更”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是幂等回放、对账和兼容迁移证据；重复回放、水位/人工修正与金额对账，迁移中断后旧新消费者都能继续。 AI工作组织：Agent可查询元数据、写转换、重放并对账，异常才重新探索；程序持续刷新冻结口径。 ## 任务级判断与证据 采用方式：分阶段接收 从证据到建议：Spider2-DBT提供数据转换仓库任务入口；真实流式/历史补数属于有明确差异的迁移。把对账、水位和修正语义固定，Agent才能从schema搜索到可接收数据。 当前可用性：open-implementation；Spider2-DBT有本地DuckDB/dbt入口；Snowflake另有账号暂停公告，不混同可用性。 - Spider2-DBT：https://github.com/xlang-ai/Spider2 2026-10-20公开仓库HEAD cafb867313aab4e674652054198f383cf4018943；实际运行另固定依赖/镜像/模型；开源本地入口；模型/资源另备 ### Spider2-DBT公开了DuckDB/dbt仓库级任务和运行入口，适合检验schema到转换结果的真实状态。 依据身份：可检查产物；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Overview；Spider2-DBT quickstart；关系：partial 支持：提供数据工程产物任务资产。 限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 核查：2026-10-20；来源状态：active 适用限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 ### 可委派来源到数据集的代码与诊断，独立核对口径、重放和下游状态后接收；不继承数据库恢复实验成绩。 依据身份：有条件的编辑推断；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Spider2-DBT任务入口；关系：partial 支持：仓库级转换任务可检查。 限制：流式迟到/治理与本组织数据未实测。 核查：2026-10-20；来源状态：active 适用限制：流式迟到/治理与本组织数据未实测。 ## 情境变化 ### 增量与历史补数 输入变化：迟到、重复、缺组和人工修正交错。 判断变化：先固定业务键/水位/优先级再实现。 验收变化：多次重放、异常/修正、总量桥接与下游一致。 研究前沿：Spider2-DBT有公开DuckDB/dbt仓库级转换任务和runner，能检验schema到结果；其本地路径不等同全天候流式恢复。维护公告指出Snowflake账户访问受阻，不能把云账号可用性写成已重现结果。 下一项验证：冻结一包重复/迟到/人工修正数据，校准独立对账，再让Agent交管道并注入中断；从下游读取验证重放与新鲜度。 未来改判信号： - 新分区/迟到事件下幂等对账、下游口径和新鲜度同时成立，可考虑扩大相近输入范围。 - 补数覆盖修正、数据重复或schema变化造成静默错误，应收窄或暂停相应采用。 接收/拒收： - 数据语义与完整性正确：以业务键、金额、约束及下游查询核对源到目标；异常分类而非直接丢弃。 拒收：行数相等但JOIN放大金额或口径混用。 - 补数和重跑幂等：施加重复/迟到/中断，重跑并核对人工修正与增量水位。 拒收：补数覆盖后来修正或重跑产生重复数据。 - 可供消费并可维护：验证数据新鲜度、访问正反矩阵、血缘和schema变化下的下游回归，记录资源。 拒收：数据正确但刷新/权限失效，或消费者取到旧schema。 失败处理：对账失败保留异常与可重放中间态；不能删行凑总量或静默改水位。 本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。 应用范围：数据工程的“历史补数与变更”使用数据与schema切换：兼容迁移及可回退状态，输入/接收对象是幂等回放、对账和兼容迁移证据；重复回放、水位/人工修正与金额对账，迁移中断后旧新消费者都能继续。 AI工作组织：Agent可生成兼容schema、回填与切换脚本，并按对账/失败反馈修改；稳定批处理直接程序执行。 ## 任务级判断与证据 采用方式：分阶段接收 从证据到建议：仓库转换和数据库状态评测提供邻近依据；跨版本迁移的关键是持续写入和退出策略，需要明确标为任务适配而非假装有直接迁移成功率。 当前可用性：mixed；SQL/数据库原生迁移可执行；目标工具/引擎版本与退出路径需实际冻结，尚无本任务模型试验。 - PostgreSQL 原生SQL与备份/恢复：https://www.postgresql.org/docs/18/continuous-archiving.html 以实际源/目标DB和迁移脚本版本为准；备份恢复文档18仅作退出准备；获准旧新实例、数据/备份与兼容客户端 ### Agent可生成并校验迁移候选，但接收需独立检验语义、旧新并存及中断退出，不能从普通SQL任务推出迁移已可靠。 依据身份：有条件的编辑推断；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Spider2-DBT repository workflows；关系：partial 支持：数据转换的工程任务作为邻近方法基础。 限制：没有目标跨版本迁移直接AI结果；所有切换控制是本任务设计。 核查：2026-10-20；来源状态：active 适用限制：没有目标跨版本迁移直接AI结果；所有切换控制是本任务设计。 ### 数据库状态评价应同时检查业务目标和安全约束，不能只以脚本退出码接收切换。 依据身份：有条件的编辑推断；状态：active - DBA-Bench v2：https://arxiv.org/abs/2607.22165v2 定位：operational objectives and safety；关系：partial 支持：状态型评价支持独立迁移验收。 限制：数据库运维研究不提供本迁移的成功率。 核查：2026-10-20；来源状态：active 适用限制：数据库运维研究不提供本迁移的成功率。 ## 情境变化 ### 在线扩展与收缩 输入变化：旧新schema并存、不能停写。 判断变化：按兼容/回填/切换接收，Agent内部方法自由。 验收变化：旧新读写、并发和水位，最后才验收旧结构清理。 研究前沿：Spider2-DBT已经公开仓库级数据转换任务；DBA-Bench进一步以活跃数据库目标/约束检查状态。这些是迁移的邻近基础，当前未核实涵盖本旧新并存/切换任务的直接AI实验，因此本单元采用建议为方法推断。 下一项验证：冻结一份旧库/调用方快照，用重复执行、并发写与中断测试迁移；独立对账并演练退出或向前修复。 未来改判信号： - 旧新并存、持续写和中断回填下语义对账与退出都可复验，可考虑扩大相近输入范围。 - 回填覆盖新数据、旧客户端失败或不可逆点未被识别，应收窄或暂停相应采用。 接收/拒收： - 语义迁移正确：按业务键、金额、空值/编码/时区及约束独立核对映射。 拒收：行数相同但金额精度/时区或身份映射改变。 - 并存与中断可接续：重放旧新客户端、并发写/回填中断和重复执行。 拒收：旧客户端无法写或新数据被回填覆盖。 - 切换和退出真可执行：演练流量/写入切换、未完成检测与回退/向前修复，核对业务不变量。 拒收：文档有rollback按钮，实际新写入无法恢复。 失败处理：对账或兼容失败就保留旧写路径；没有可行回退时明确向前修复前提，不能虚构可逆。 本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。 尚未覆盖：不能用一次全量重算代替持续写入条件下兼容验证。 验证方法：重复回放、水位/人工修正与金额对账，迁移中断后旧新消费者都能继续。 ### 数据资产治理 血缘、权限、保留和口径说明。可整包产出血缘、访问与保留配置及其验证，治理以真实可追踪/可拒绝/可删除范围接收。 交付物：血缘、权限、保留和口径说明 判断依据：可检查产物、有条件的编辑推断 当前变化：可整包产出血缘、访问与保留配置及其验证，治理以真实可追踪/可拒绝/可删除范围接收。 - 数据管道交付：接入、转换、补数和可信数据集：/work-units/W-C07?version=2026-10-21.workunits.2 数据工程的“数据资产治理”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是血缘、权限、保留和口径说明；来源到消费列/口径追踪，角色权限正反例，到期保留与schema版本变化回归。（partial；workunits/work-unit/W-C07@2026-10-21.workunits.2） 应用范围：数据工程的“数据资产治理”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是血缘、权限、保留和口径说明；来源到消费列/口径追踪，角色权限正反例，到期保留与schema版本变化回归。 AI工作组织：Agent可查询元数据、写转换、重放并对账，异常才重新探索；程序持续刷新冻结口径。 ## 任务级判断与证据 采用方式：分阶段接收 从证据到建议：Spider2-DBT提供数据转换仓库任务入口；真实流式/历史补数属于有明确差异的迁移。把对账、水位和修正语义固定，Agent才能从schema搜索到可接收数据。 当前可用性：open-implementation；Spider2-DBT有本地DuckDB/dbt入口；Snowflake另有账号暂停公告，不混同可用性。 - Spider2-DBT：https://github.com/xlang-ai/Spider2 2026-10-20公开仓库HEAD cafb867313aab4e674652054198f383cf4018943；实际运行另固定依赖/镜像/模型；开源本地入口；模型/资源另备 ### Spider2-DBT公开了DuckDB/dbt仓库级任务和运行入口，适合检验schema到转换结果的真实状态。 依据身份：可检查产物；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Overview；Spider2-DBT quickstart；关系：partial 支持：提供数据工程产物任务资产。 限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 核查：2026-10-20；来源状态：active 适用限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 ### 可委派来源到数据集的代码与诊断，独立核对口径、重放和下游状态后接收；不继承数据库恢复实验成绩。 依据身份：有条件的编辑推断；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Spider2-DBT任务入口；关系：partial 支持：仓库级转换任务可检查。 限制：流式迟到/治理与本组织数据未实测。 核查：2026-10-20；来源状态：active 适用限制：流式迟到/治理与本组织数据未实测。 ## 情境变化 ### 语义数据集与治理 输入变化：多人消费、指标口径、权限/保留变化。 判断变化：数据与语义/访问接口一起接收。 验收变化：口径版本、血缘、权限正反例、到期保留和消费者回归。 研究前沿：Spider2-DBT有公开DuckDB/dbt仓库级转换任务和runner，能检验schema到结果；其本地路径不等同全天候流式恢复。维护公告指出Snowflake账户访问受阻，不能把云账号可用性写成已重现结果。 下一项验证：冻结一包重复/迟到/人工修正数据，校准独立对账，再让Agent交管道并注入中断；从下游读取验证重放与新鲜度。 未来改判信号： - 新分区/迟到事件下幂等对账、下游口径和新鲜度同时成立，可考虑扩大相近输入范围。 - 补数覆盖修正、数据重复或schema变化造成静默错误，应收窄或暂停相应采用。 接收/拒收： - 数据语义与完整性正确：以业务键、金额、约束及下游查询核对源到目标；异常分类而非直接丢弃。 拒收：行数相等但JOIN放大金额或口径混用。 - 补数和重跑幂等：施加重复/迟到/中断，重跑并核对人工修正与增量水位。 拒收：补数覆盖后来修正或重跑产生重复数据。 - 可供消费并可维护：验证数据新鲜度、访问正反矩阵、血缘和schema变化下的下游回归，记录资源。 拒收：数据正确但刷新/权限失效，或消费者取到旧schema。 失败处理：对账失败保留异常与可重放中间态；不能删行凑总量或静默改水位。 本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。 尚未覆盖：文档清单不能替代实际权限/保留执行证据。 验证方法：来源到消费列/口径追踪，角色权限正反例，到期保留与schema版本变化回归。 ### 管道运行改善 时效、成本、容量及恢复证据。让Agent定位管道瓶颈/中断并验证水位与数据恢复，按时效/成本和下游数据同时接收。 交付物：时效、成本、容量及恢复证据 判断依据：可检查产物、有条件的编辑推断、工具与方法依据 当前变化：让Agent定位管道瓶颈/中断并验证水位与数据恢复，按时效/成本和下游数据同时接收。 - 数据管道交付：接入、转换、补数和可信数据集：/work-units/W-C07?version=2026-10-21.workunits.2 数据工程的“管道运行改善”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是时效、成本、容量及恢复证据；固定数据/负载，测刷新延迟与资源，中断/重试后幂等对账并读取下游。（partial；workunits/work-unit/W-C07@2026-10-21.workunits.2） - 性能与容量改善：同一负载下证明收益与代价：/work-units/W-C18?version=2026-10-21.workunits.2 数据工程的“管道运行改善”使用性能与容量改善：同一负载下证明收益与代价，输入/接收对象是时效、成本、容量及恢复证据；固定数据/负载，测刷新延迟与资源，中断/重试后幂等对账并读取下游。（partial；workunits/work-unit/W-C18@2026-10-21.workunits.2） 应用范围：数据工程的“管道运行改善”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是时效、成本、容量及恢复证据；固定数据/负载，测刷新延迟与资源，中断/重试后幂等对账并读取下游。 AI工作组织：Agent可查询元数据、写转换、重放并对账，异常才重新探索；程序持续刷新冻结口径。 ## 任务级判断与证据 采用方式：分阶段接收 从证据到建议：Spider2-DBT提供数据转换仓库任务入口；真实流式/历史补数属于有明确差异的迁移。把对账、水位和修正语义固定，Agent才能从schema搜索到可接收数据。 当前可用性：open-implementation；Spider2-DBT有本地DuckDB/dbt入口；Snowflake另有账号暂停公告，不混同可用性。 - Spider2-DBT：https://github.com/xlang-ai/Spider2 2026-10-20公开仓库HEAD cafb867313aab4e674652054198f383cf4018943；实际运行另固定依赖/镜像/模型；开源本地入口；模型/资源另备 ### Spider2-DBT公开了DuckDB/dbt仓库级任务和运行入口，适合检验schema到转换结果的真实状态。 依据身份：可检查产物；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Overview；Spider2-DBT quickstart；关系：partial 支持：提供数据工程产物任务资产。 限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 核查：2026-10-20；来源状态：active 适用限制：不是全天候流式处理成绩；Snowflake公告中断不能转写成本地DBT不可用。 ### 可委派来源到数据集的代码与诊断，独立核对口径、重放和下游状态后接收；不继承数据库恢复实验成绩。 依据身份：有条件的编辑推断；状态：active - Spider2 官方任务与维护公告：https://github.com/xlang-ai/Spider2 定位：Spider2-DBT任务入口；关系：partial 支持：仓库级转换任务可检查。 限制：流式迟到/治理与本组织数据未实测。 核查：2026-10-20；来源状态：active 适用限制：流式迟到/治理与本组织数据未实测。 ## 情境变化 ### 性能与流水线恢复 输入变化：刷新延迟、成本或任务中断。 判断变化：按管道结果恢复，不扩成数据库物理恢复。 验收变化：代表吞吐/成本、水位、幂等断点及下游新鲜度。 研究前沿：Spider2-DBT有公开DuckDB/dbt仓库级转换任务和runner，能检验schema到结果；其本地路径不等同全天候流式恢复。维护公告指出Snowflake账户访问受阻，不能把云账号可用性写成已重现结果。 下一项验证：冻结一包重复/迟到/人工修正数据，校准独立对账，再让Agent交管道并注入中断；从下游读取验证重放与新鲜度。 未来改判信号： - 新分区/迟到事件下幂等对账、下游口径和新鲜度同时成立，可考虑扩大相近输入范围。 - 补数覆盖修正、数据重复或schema变化造成静默错误，应收窄或暂停相应采用。 接收/拒收： - 数据语义与完整性正确：以业务键、金额、约束及下游查询核对源到目标；异常分类而非直接丢弃。 拒收：行数相等但JOIN放大金额或口径混用。 - 补数和重跑幂等：施加重复/迟到/中断，重跑并核对人工修正与增量水位。 拒收：补数覆盖后来修正或重跑产生重复数据。 - 可供消费并可维护：验证数据新鲜度、访问正反矩阵、血缘和schema变化下的下游回归，记录资源。 拒收：数据正确但刷新/权限失效，或消费者取到旧schema。 失败处理：对账失败保留异常与可重放中间态；不能删行凑总量或静默改水位。 本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。 应用范围：数据工程的“管道运行改善”使用性能与容量改善：同一负载下证明收益与代价，输入/接收对象是时效、成本、容量及恢复证据；固定数据/负载，测刷新延迟与资源，中断/重试后幂等对账并读取下游。 AI工作组织：Agent自主分析profile/执行计划、修改代码/配置并重测；程序执行冻结基准与资源记录。 ## 任务级判断与证据 采用方式：分阶段接收 从证据到建议：数据库有负载运维研究和AIOps负载工具提供邻近依据；性能交付可由独立程序比较，Agent主要搜索原因/配置，不能用一次最好成绩证明容量。 当前可用性：mixed；框架公开；目标云权限、遥测与可回退环境由实际任务提供，不要求先接生产。 - AIOpsLab：https://github.com/microsoft/AIOpsLab 2026-10-20公开仓库HEAD ccf08d0d1d5fa5b30f120e2e8549662d44411b35；实际运行另固定依赖/镜像/模型；开源；独立集群/命名空间、遥测与模型API自备 ### 可用AIOpsLab负载和轨迹接口构造受控前后比较；实际测量与正确性应独立于优化者。 依据身份：工具与方法依据；状态：active - AIOpsLab 官方框架：https://github.com/microsoft/AIOpsLab 定位：Workload/Evaluator/trace；关系：method 支持：有负载与记录接口。 限制：框架不保证选对工作负载或性能改善。 核查：2026-10-20；来源状态：active 适用限制：框架不保证选对工作负载或性能改善。 ## 情境变化 ### 服务与网络容量 输入变化：连接池、缓存、网络路径、扩容或资源配置。 判断变化：明确用户路径和费用预算后迭代。 验收变化：吞吐/尾延迟、正确性、故障域、费用与相邻路径。 研究前沿：DBA-Bench v2把真实负载和数据库状态放入评估，AIOpsLab则提供可控制负载/轨迹接口；前者报告任务状态差距，后者是工程工具。它们未展示本目标负载下的AI优化收益，须同条件前后测量。 下一项验证：选一个可重放慢查询/服务压力，校准负载和测量；冻结预算，让Agent交候选，多次测性能、正确性和资源，改变负载挑战结论。 未来改判信号： - 保留负载下多次收益超过测量波动且资源代价符合预算，可考虑扩大相近输入范围。 - 收益仅来自缓存/更易输入，或写入/正确性与费用退化，应收窄或暂停相应采用。 接收/拒收： - 对比条件可比：多次重放同数据/并发/缓存条件并报告波动和热身。 拒收：只给最快一次或拿冷基线比热候选。 - 改善没有偷换目标：核对正确性/一致性/权限及其他请求，测写放大、内存和费用。 拒收：删结果、跳校验或昂贵扩容却只报延迟下降。 - 边界可复用：改变负载/数据规模/失败条件复查，说明瓶颈转移及回退。 拒收：单条SQL变快但整服务锁争用和成本恶化。 失败处理：环境不可比时先修测量；无改善保留profile和失败，不篡改阈值/采样。 本站记录：本次只核查公开材料和任务契约；未在本站运行该任务、工具或模型。 尚未覆盖：通用负载工具提供方法，目标连接器和调度成本需实际测量。 验证方法：固定数据/负载，测刷新延迟与资源，中断/重试后幂等对账并读取下游。 ## 与工作关联的进展 尚未建立本职业的直接进展专题；同领域背景须核对任务差异，不直接外推。 ## 未来3–5年条件情景 未来 3–5 年（2029–2031） 未来 3–5 年是编辑条件情景，不是就业数量预测。每项均列基准、加速、受限路径和需观察的信号；职业职责来源不等于 AI 能力证据。 基准：2029–2031，接入、转换、对账与补数将更常形成持续交付，稳定刷新转参数化程序；工程师更多处理跨系统语义、数据变化与恢复证据。 加速：若跨连接器、schema与迟到/重放变化后语义/权限仍稳定，可扩大连续维护和更大数据资产范围。 受限：若源系统频繁无通知变更，自动管道仍易积累静默错误。 改判信号： - 数据事故的发现与恢复时间 - 自动补数后的下游对账结果 ## 进入与成长的公开能力证据 本页主要提供工作与作品证据；基础课程、责任级别和中国准入尚未完成专题整理。 完整交付作品证据： - 可重放批流管道及来源追踪；附源到目标键/金额核对，重复/乱序/中断重放，下游读取确认最终状态。 - 按业务口径定义的数据集、模式和访问接口；附粒度、归属、时间/空值规则、血缘与下游查询正反例；数据/口径版本一起记录。 具体地区、职级和组织要求按目标岗位核对；美国资料不自动作为中国资格要求。 ## 相邻方向及区别 - 数据库管理：/careers/database-administrator.md?version=2026-10-21.careers.2 数据工程关注数据流与语义；数据库管理关注存储系统性能、访问和恢复。 - 商业智能分析：/careers/bi-analyst.md?version=2026-10-21.careers.2 BI 使用数据解释业务；数据工程保证其输入可用与可信。 ## 职业名称与分类映射 - O*NET-SOC 15-1243.00 Database Architects；O*NET-SOC 2019；OnLine Updated 2026；US；narrower 本方向仅取该职业的一部分职责，组织中的具体岗位需按工作说明另核。；定位 Definition / Tasks ## 工作资料与来源 - 数据管道交付：接入、转换、补数和可信数据集：/work-units/W-C07?version=2026-10-21.workunits.2 数据工程的“管道运行改善”使用数据管道交付：接入、转换、补数和可信数据集，输入/接收对象是时效、成本、容量及恢复证据；固定数据/负载，测刷新延迟与资源，中断/重试后幂等对账并读取下游。（partial；workunits/work-unit/W-C07@2026-10-21.workunits.2） - 数据与schema切换：兼容迁移及可回退状态：/work-units/W-C17?version=2026-10-21.workunits.2 数据工程的“历史补数与变更”使用数据与schema切换：兼容迁移及可回退状态，输入/接收对象是幂等回放、对账和兼容迁移证据；重复回放、水位/人工修正与金额对账，迁移中断后旧新消费者都能继续。（partial；workunits/work-unit/W-C17@2026-10-21.workunits.2） - 性能与容量改善：同一负载下证明收益与代价：/work-units/W-C18?version=2026-10-21.workunits.2 数据工程的“管道运行改善”使用性能与容量改善：同一负载下证明收益与代价，输入/接收对象是时效、成本、容量及恢复证据；固定数据/负载，测刷新延迟与资源，中断/重试后幂等对账并读取下游。（partial；workunits/work-unit/W-C18@2026-10-21.workunits.2） - Database Architects：https://www.onetonline.org/link/summary/15-1243.00 O*NET / 美国劳工部职业信息网络；US；O*NET OnLine / Updated 2026 / 2026-10-20访问快照；核查 2026-10-20；状态 active 定位：职业定义、Tasks、Work Activities；不采用薪酬和学历比例 范围：美国 O*NET-SOC 职业职责参照；中文标题及导航由编辑按工作内容映射 限制：不证明中国岗位数量、准入资格或在招需求；不提供该职业的 AI 实测结论。 ## 用于自己的问题 个人适配、具体岗位判断与计划由用户自己的 Agent 结合已有材料处理。复用已知上下文，仅追问影响结论的缺口；目录不是全部选项。阅读或比较公开工作本身无需档案、固定二选一、保存记录或行动计划。