4. 数据预处理：缺失值处理、异常值检测、数据标准化与归一化、实时数据清洗策略
在实时风控系统中，原始数据流通常包含噪声、缺失字段、异常波动以及量纲不一致等问题。数据预处理是特征工程的第一道关卡，直接影响后续模型训练的稳定性和在线推理的准确性。本章围绕缺失值处理、异常值检测、标准化与归一化以及实时清洗策略四个核心模块展开，结合流式计算场景给出可落地的方案。
4.1 缺失值处理
实时数据流中，字段缺失可能由网络抖动、设备兼容性、数据源变更等原因引起。缺失值处理策略需兼顾时效性与统计合理性。
| 策略 | 适用场景 | 实时计算代价 | 典型方法 |
|---|---|---|---|
| 直接丢弃 | 缺失率 > 80% 或关键标识字段缺失 | 低 | 过滤整条记录 |
| 静态填充 | 数值型特征，缺失率较低 | 极低 | 填充 0、-1、均值、中位数 |
| 动态填充 | 时序特征，如近 5 分钟滑动均值 | 中 | 滑动窗口均值 / 中位数 |
| 模型预测填充 | 高价值特征，缺失率 < 10% | 高 | KNN、线性回归 |
| 标记缺失 | 分类模型可处理缺失指示 | 低 | 新增 is_null 布尔特征 |
实时风控建议： 在线推理阶段优先使用静态填充或滑动窗口填充，避免因模型预测引入额外延迟。对于离线训练，可保留缺失指示特征以提升模型鲁棒性。
4.2 异常值检测
异常值在风控场景中既可能是欺诈行为信号，也可能是数据采集错误。检测方法需区分全局异常与局部异常。
4.2.1 常用检测方法对比
| 方法 | 原理 | 适用分布 | 实时性 |
|---|---|---|---|
| Z-Score | 基于均值与标准差，|Z| > 3 视为异常 | 近似正态分布 | 高 |
| IQR 四分位距 | Q1 - 1.5×IQR 或 Q3 + 1.5×IQR 之外 | 偏态分布 | 高 |
| 孤立森林 | 随机切割，异常点路径更短 | 高维数据 | 中 |
| DBSCAN | 密度聚类，低密度点视为异常 | 任意形状簇 | 低 |
注意： 在实时风控流水线中，Z-Score 和 IQR 因计算简单、可增量更新而成为首选。孤立森林适合离线批量检测，用于生成训练标签。
4.3 数据标准化与归一化
不同特征的量纲差异会导致模型训练不稳定，尤其对距离敏感算法（如 KNN、SVM、逻辑回归）影响显著。标准化与归一化是消除量纲的两种主要手段。
4.3.1 核心方法对比
| 方法 | 公式 | 输出范围 | 适用场景 |
|---|---|---|---|
| Z-Score 标准化 | \( x' = \frac{x - \mu}{\sigma} \) | 无固定范围，均值为 0，标准差为 1 | 数据近似正态分布，存在异常值 |
| Min-Max 归一化 | \( x' = \frac{x - min}{max - min} \) | [0, 1] | 数据有明确上下界，无极端异常值 |
| RobustScaler | \( x' = \frac{x - median}{IQR} \) | 无固定范围 | 数据含较多异常值 |
| MaxAbsScaler | \( x' = \frac{x}{|max|} \) | [-1, 1] | 稀疏数据，如 TF-IDF 特征 |
实时风控选型建议： 在线推理时，标准化参数（均值、标准差、min/max）需从离线训练集预先计算并固化，避免在流式数据上实时计算全局统计量。推荐使用 Z-Score 标准化，因其对异常值容忍度较高。
4.3.2 实时标准化实现示例
# 离线阶段：计算全局统计量
import numpy as np
train_data = np.array([...]) # 历史训练数据
mean = np.mean(train_data, axis=0)
std = np.std(train_data, axis=0)
# 在线阶段：使用预计算参数标准化
def online_standardize(x, mean, std):
return (x - mean) / (std + 1e-8) # 防止除零4.4 实时数据清洗策略
实时数据清洗与离线批处理不同，需在毫秒级延迟内完成，且不能阻塞主数据流。以下策略已在生产环境中验证有效。
4.4.1 清洗流水线架构
4.4.2 关键策略清单
- 延迟绑定校验： 仅在特征被使用时才执行清洗，避免对所有字段无差别处理。
- 滑动窗口统计量缓存： 均值、标准差、分位数等统计量使用 Redis 或本地 LRU 缓存，减少重复计算。
- 异常值截断而非丢弃： 将超出 [P1, P99] 区间的值截断到边界值，保留样本数量。
- 清洗失败降级： 当清洗组件超时或抛出异常时，返回原始值并记录告警，不阻塞主流程。
- 数据质量监控： 实时统计缺失率、异常率、标准化后分布偏移，触发阈值告警。
生产实践： 在 Apache Flink 或 Kafka Streams 中，将清洗逻辑封装为独立的
ProcessFunction，利用状态后端存储滑动窗口统计量，确保 Exactly-Once 语义下的清洗一致性。