4. 数据采集与预处理：特征数据源梳理、数据质量检查、缺失值与异常值处理、时间窗口对齐

PSI（Population Stability Index）漂移监测的准确性高度依赖底层特征数据的质量与一致性。在构建监测管道之前，必须系统性地完成数据源梳理、质量检查、缺失/异常值处理以及时间窗口对齐。本章将逐一拆解这些前置步骤，确保后续 PSI 计算建立在干净、可比的数据基础上。

4.1 特征数据源梳理

反洗钱监测通常涉及多个业务系统与数据仓库表。梳理数据源的核心目标是明确每个特征字段的业务含义、技术类型、更新频率以及历史可回溯长度。

4.2 数据质量检查

数据质量检查应覆盖以下四个维度，任何一项不达标都可能导致 PSI 计算失真：

• 完整性：检查字段空值率是否超过预设阈值（例如 5%）。对于关键特征（如交易金额），空值率应趋近于 0。
• 准确性：验证数值范围是否合理（如年龄 0~120，交易金额非负），类别值是否在合法枚举列表中。
• 一致性：对比同一特征在不同数据源或不同时间段的分布是否出现系统性偏差（例如某月突然大量缺失“交易渠道”字段）。
• 时效性：确认数据延迟是否在可接受窗口内（例如 T+1 数据必须在次日 10:00 前到位）。

-- 完整性检查：交易金额空值率
SELECT 
  COUNT(*) AS total_records,
  SUM(CASE WHEN tx_amount IS NULL THEN 1 ELSE 0 END) AS null_count,
  ROUND(SUM(CASE WHEN tx_amount IS NULL THEN 1 ELSE 0 END) * 100.0 / COUNT(*), 2) AS null_pct
FROM aml_feature_store
WHERE partition_date = '2025-03-01';

-- 准确性检查：年龄范围
SELECT 
  MIN(age) AS min_age,
  MAX(age) AS max_age,
  COUNT(*) AS outlier_count
FROM aml_feature_store
WHERE age < 0 OR age > 120;

4.3 缺失值与异常值处理

处理策略需根据特征类型和缺失机制选择，避免引入人为偏差：

4.4 时间窗口对齐

时间窗口对齐是 PSI 漂移监测中最容易被忽视但影响最大的环节。不同特征可能具有不同的时间粒度（日、周、月），且数据产出时间存在延迟。对齐的核心原则是：确保参考分布与监测分布的时间窗口在业务含义上可比。

• 固定窗口法：选取固定的日历周期（如每月 1 日至月底），适用于周期性稳定的特征。
• 滚动窗口法：以当前日期为终点，向前滑动固定天数（如过去 30 天），适用于快速变化的业务场景。
• 事件窗口法：以特定业务事件（如开户、触发预警）为锚点，对齐事件前后固定时间范围，适用于事件驱动的监测。

4.5 数据预处理管道架构

将上述步骤整合为可重复执行的预处理管道，是保障 PSI 监测自动化的关键。下图展示了从原始数据到 PSI 计算就绪特征集的完整流程：