2. 风控数据生命周期：全链路质量管控

风控数据从产生到最终形成报表，会经历采集、清洗、存储、计算、报表输出五个核心阶段。任何一个环节出现质量缺陷，都会向下游传导并放大，最终导致风控决策偏差或报表失真。本章围绕这五个阶段，逐一拆解质量管控要点、常见问题及治理手段。

2.1 数据采集阶段

采集是数据生命周期的起点，也是质量问题的第一道关口。此阶段的核心目标是确保数据完整、及时、准确地进入系统。

2.2 数据清洗阶段

清洗阶段负责对原始数据进行去重、纠错、填充和标准化。此阶段的质量管控重点在于规则可追溯和异常数据隔离。

• 去重策略：基于业务主键（如订单号、设备指纹）做精确去重，保留时间戳最新的记录。
• 异常值处理：对超出业务阈值的字段（如年龄 > 120、收入为负数）进行标记或剔除。
• 缺失值填充：使用默认值、均值或模型预测值填充，并记录填充标识。
• 标准化转换：统一日期格式、金额单位、枚举编码。

-- 清洗示例：对用户收入字段做异常值处理
UPDATE dwd_user_info
SET income = NULL, income_quality_flag = '异常'
WHERE income < 0 OR income > 99999999;

-- 记录清洗日志
INSERT INTO etl_quality_log
(table_name, field_name, record_id, issue_type, create_time)
VALUES ('dwd_user_info', 'income', 12345, '超出业务阈值', NOW());

2.3 数据存储阶段

存储阶段的质量管控聚焦于数据持久化和元数据管理。风控数据通常采用分层存储（ODS → DWD → DWS → ADS），每一层都需要建立质量校验点。

2.4 数据计算阶段

计算阶段包括特征加工、模型评分、规则引擎执行等。此阶段的质量管控核心是计算逻辑可复现和结果可验证。

• 幂等性保障：同一输入数据多次计算应得到相同结果，避免因数据重复导致指标翻倍。
• 中间结果落盘：关键计算步骤（如特征衍生、模型打分）的中间结果写入临时表，便于问题排查。
• 阈值告警：对计算结果的分布（如评分均值、拒绝率）设置上下限，超出阈值自动告警。

-- 计算阶段质量校验示例：检查今日评分分布是否异常
SELECT
  AVG(score) AS avg_score,
  STDDEV(score) AS std_score,
  COUNT(*) AS total_cnt
FROM dws_risk_score
WHERE dt = CURRENT_DATE;

-- 如果平均分偏离历史均值超过 2 个标准差，触发告警

2.5 报表输出阶段

报表是数据质量的最终呈现窗口。此阶段的质量管控目标是确保数据展示准确、指标口径一致、刷新时效达标。

2.6 全链路质量管控总览

将五个阶段的质量管控要点串联起来，形成完整的全链路质量管控视图。每个阶段的质量输出都是下一阶段的输入，任何一个环节的缺陷都会向下游传导。