4. 特征数据采集与预处理：实时数据源、特征值清洗与时间窗口划分

实时风控特征 PSI 监控的基石在于高质量、低延迟的数据接入与预处理。本章聚焦于从实时数据源（Kafka/Flume）采集原始事件流，经过特征值清洗（空值、异常值处理），再通过时间窗口划分（滑动窗口/固定窗口）生成可供 PSI 计算的特征分布快照。整个过程必须保证数据完整性、时效性与一致性，否则后续 PSI 监控将失去意义。

4.1 实时数据源接入：Kafka 与 Flume

实时特征数据通常来源于业务日志、埋点事件或模型打分结果。Kafka 和 Flume 是两种主流的实时数据采集与传输组件，它们在风控场景中的角色与选型对比如下：

4.2 特征值清洗：空值与异常值处理

原始特征流中常包含空值、异常跳变或格式错误的数据。若不进行清洗，PSI 计算会引入噪声，导致分布偏移误报或漏报。清洗策略需区分特征类型：

• 数值型特征： 空值填充（均值/中位数/前值填充）、异常值截断（3σ 或 IQR 规则）、格式校验（非数字字符剔除）。
• 类别型特征： 空值映射为“未知”类别、非法枚举值归并为“其他”、大小写统一与前后空格去除。
• 时间戳特征： 空值丢弃或使用事件到达时间替代、异常时间戳（未来时间/1970 年）标记为无效。

以下是一个典型的特征清洗伪代码示例（Flink SQL 风格）：

-- 数值型特征清洗：空值填充均值，异常值截断
SELECT
    user_id,
    COALESCE(amount, avg_amount) AS amount_clean,
    CASE
        WHEN score < 0 OR score > 1000 THEN 500
        ELSE score
    END AS score_clean,
    -- 类别型特征：空值映射为 'unknown'
    COALESCE(city, 'unknown') AS city_clean
FROM
    raw_feature_stream,
    (SELECT AVG(amount) AS avg_amount FROM raw_feature_stream) AS global_stats
WHERE
    -- 过滤时间戳异常事件
    event_time BETWEEN '2024-01-01' AND '2026-12-31';

4.3 时间窗口划分：滑动窗口与固定窗口

PSI 监控需要对比“当前窗口”与“基准窗口”的特征分布。窗口划分方式直接影响分布计算的粒度与延迟。两种主流窗口模式对比如下：

4.4 滑动窗口与固定窗口的工程实现对比

在 Flink / Spark Streaming 中，两种窗口的实现方式与状态管理差异显著。以下表格总结了关键参数与注意事项：

4.5 数据预处理链路完整性校验

在将清洗后的特征数据送入窗口计算前，必须进行链路完整性校验，避免因数据丢失或延迟导致 PSI 计算偏差。建议在采集、清洗、窗口三个环节分别埋点监控：

• 数据源侧： 监控 Kafka 各分区 Lag 值，确保消费速率 ≥ 生产速率。
• 清洗侧： 统计空值率、异常值占比、丢弃事件数，设置阈值告警（如空值率突增 5%）。
• 窗口侧： 监控每个窗口的事件总数，与历史同期对比，若事件量骤降超过 20% 则触发数据延迟告警。