第3章 实验数据采集规范

规范的数据采集是A/B实验结论可信的基石。本章定义从指标定义到标准清洗的完整SOP，确保每次实验的数据可复现、可审计、可直接用于优先级排序分析。

3.1 适用场景

• 实验上线后数据接入：实验已全量发布，需要规范采集用户行为、业务指标数据。
• 多数据源统一处理：客户端埋点、服务端日志、第三方SDK（如GA、Firebase）需要合并清洗。
• 大规模自动化校验：实验涉及百万级以上用户，必须通过脚本或ETL完成清洗，不能依赖人工。
• 团队协作审计：需要留下可回溯的清洗记录，支撑实验复盘、监管合规或数据再加工。

3.2 前置条件

3.3 操作步骤

数据采集规范遵循“定义→确认→清洗→异常→填充”五阶段流水线。下图展示完整流程，后续按步骤逐一拆解。

步骤一：指标定义表

适用场景：实验启动前，必须完成指标的结构化定义，确保团队对每个指标的理解一致。

步骤二：数据来源确认

• 操作：对照指标定义表，逐一确认每个字段的来源表名、分区字段、拉取SQL。
• 输出：数据来源清单.csv，包含字段名、来源表、更新频率、最后确认时间。
• 异常：若某个指标找不到对应数据源，需在“记录材料”中标记并联系工程团队补齐埋点。

步骤三：清洗规则

清洗规则应覆盖常见数据质量问题，并使用参数化ETL脚本执行。

步骤四：异常值处理

异常值标准：以下条件之一即判定为异常——

• 数值超出3个标准差（基于实验前7天历史数据）
• 取值不在指标定义表的取值边界内
• 业务逻辑矛盾（如注册时间早于出生日期）

处理方式：

1. 记录到 异常值处理记录表（字段：用户ID、指标名、异常值、判断依据、处理结果）。
2. 默认剔除，但若剔除后样本量减少超过5%，需人工复核。
3. 复核后仍保留的异常值必须在分析报告中注明。

步骤五：缺失值填充标准

3.4 输入输出物

3.5 责任边界

• 数据科学家：输出指标定义表、制定清洗规则与异常值/缺失值标准。
• 数据工程师：实现ETL脚本，执行清洗流程，生成输出表与记录表。
• 产品经理：确认指标业务含义，参与异常值复核决策。
• QA：对清洗前后数据进行抽样对比，验证流程正确性。

3.6 记录材料

每批次实验数据采集完成后，必须归档以下材料：

1. 指标定义表（PDF/Excel，版本号+修订日期）
2. 数据来源清单（含每个字段的拉取SQL或表路径）
3. 清洗规则日志（每条规则的触发次数、被剔除/修正的记录数）
4. 异常值处理记录（用户级明细，含处置理由）
5. 缺失值填充标准报告（列级缺失比例、填充方法、填充值）

3.7 异常处理

3.8 验收标准

1. 完整性：清洗后的数据集与原数据集的记录数差异必须小于1%（剔除的无效记录需提供清单）。
2. 一致性：随机抽取10%的清洗后数据，人工对比20个关键字段，一致率100%。
3. 可追溯：每一条异常值或缺失记录都能在相应处理表中找到原因和决策。
4. 可复现：将清洗脚本重新运行一次，输出结果与首次运行完全一致（增量数据影响除外）。
5. 文档齐全：3.6节要求的5份记录材料全部归档且版本号匹配。