第3章：数据采集与清洗规范——字段定义、异常值处理、缺失值处理

3.1 适用场景

• A/B 测试已结束，原始日志或埋点数据已从服务端、客户端、第三方工具导出。
• 原始数据包含多个来源（前端、后端、CDP、GA4等），字段名、格式、枚举值不统一。
• 数据集中存在明显离群值（如曝光量骤降、点击率为负、转化时间异常），或字段存在空值、Null、占位符。
• 需要进行量化决策（如判定实验组是否显著优于对照组）之前，必须保证输入数据干净、可复现。

3.2 前置条件

3.3 操作步骤

数据清洗按以下6个步骤依次执行，每一步均需输出中间检查结果。

Step 1：原始数据接入与字段映射

• 将各数据源导入统一 staging 表或 DataFrame。
• 根据字段定义文档，统一字段名（如 user_id → user_id、exp_group → experiment_group）。
• 检查字段类型是否匹配：event_time 必须为 datetime，revenue 必须为 float。

# 字段映射示例（Python + Pandas）
import pandas as pd

raw = pd.read_csv("ab_test_raw.csv")

field_map = {
    "uid": "user_id",
    "group": "experiment_group",
    "evt_time": "event_time",
    "page_views": "page_view_cnt",
    "order_amount": "revenue"
}

df = raw.rename(columns=field_map)
df["event_time"] = pd.to_datetime(df["event_time"])
df["revenue"] = df["revenue"].astype(float)
print("字段映射完成，当前列名：", df.columns.tolist())

Step 2：异常值检测

• 数值型字段：采用 IQR 或 Z-score 方法识别离群点。
• 类别型字段：检查枚举值是否在允许列表中。
• 时间字段：检查是否在实验起止窗口内。

# 异常值检测示例
import numpy as np

def detect_outliers_iqr(series):
    Q1 = series.quantile(0.25)
    Q3 = series.quantile(0.75)
    IQR = Q3 - Q1
    lower = Q1 - 1.5 * IQR
    upper = Q3 + 1.5 * IQR
    return (series < lower) | (series > upper)

df["page_view_outlier"] = detect_outliers_iqr(df["page_view_cnt"])
print(f"页面浏览异常数：{df['page_view_outlier'].sum()}")

Step 3：异常值处理

• 可修正类：明显的数据录入错误（如负值取绝对值、时间戳偏移修复），在字段定义文档中记录修正规则。
• 不可修正类：超出业务合理范围（如单次购买金额 > 100万），标记为 异常 并移入异常数据集，不参与后续分析。

Step 4：缺失值识别

• 逐字段统计缺失比例：df.isnull().mean()。
• 区分缺失类型：完全随机缺失（MCAR）、随机缺失（MAR）、非随机缺失（MNAR）。

Step 5：缺失值处理

# 缺失值分组填充示例
df["session_duration"] = df.groupby("experiment_group")["session_duration"]\
    .transform(lambda x: x.fillna(x.median()))
print("session_duration 缺失填充完成，剩余缺失：", df["session_duration"].isnull().sum())

Step 6：数据质量校验

• 完整性：记录总数与原始数据源数量一致（扣除合理删除）。
• 一致性：关键指标（如总曝光、总转化）与实验平台后台相差 < 1%。
• 及时性：时间戳连续，无中断。

3.4 输入输出物

3.5 责任边界

3.6 记录材料

• 字段映射表（Field Mapping Log）：源字段 → 目标字段 → 转换规则 → 版本号。
• 异常值处理记录（Outlier Log）：用户ID / 实验组 / 异常字段 / 原始值 / 处理方式 / 操作时间。
• 缺失值处理记录（Missing Log）：字段名 / 缺失比例 / 填充策略 / 填充值 / 剩余缺失数。
• 数据质量校验单（Quality Check List）：完整率、一致率、及时性指标。

3.7 异常处理

3.8 验收标准

3.9 数据清洗流程总图

下图完整呈现从原始数据接入到清洗完成的6个主节点及分支处理路径，是本章SOP的可视化浓缩。