1. 风控数据质量概述
1.1 数据质量在风控中的重要性
在信贷、支付、保险等金融风控场景中，数据是模型与策略的“燃料”。数据质量直接决定风控决策的准确性、稳定性和合规性。低质量数据会导致误判、欺诈漏报、信用评分失真，甚至引发系统性风险。
| 维度 | 低质量数据的影响 | 典型后果 |
|---|---|---|
| 决策准确性 | 模型输入失真，输出偏差 | 误拒优质客户 / 误放高风险客户 |
| 模型稳定性 | 特征分布偏移，模型衰减加速 | 频繁调参，运维成本激增 |
| 合规审计 | 数据溯源困难，监管检查不通过 | 罚款、业务暂停、声誉损失 |
| 运营效率 | 数据清洗耗时，人工复核量大 | 审批延迟，客户体验下降 |
核心观点：风控数据质量不是“锦上添花”，而是“生死线”。在风控流水线中，数据质量治理应前置到数据采集与加工环节，而非事后补救。
1.2 常见数据质量问题
风控数据在采集、传输、存储、加工的全生命周期中，会引入三类典型质量问题：缺失、重复、异常。下表对比了三者的定义、成因与风控影响。
| 问题类型 | 定义 | 常见成因 | 风控影响 |
|---|---|---|---|
| 缺失 | 数据记录中某个字段为空或不存在 | 用户未填写、接口超时、数据库字段变更 | 特征无法计算，模型输出降级或默认值偏差 |
| 重复 | 同一条数据出现多次冗余记录 | 重复提交、数据同步异常、主键缺失 | 统计口径翻倍，聚合指标失真，样本泄露 |
| 异常 | 数据值显著偏离正常分布或业务规则 | 录入错误、设备故障、欺诈行为、系统Bug | 模型过拟合、策略误杀、欺诈漏报 |
实践提示：在风控数据质量监控中，建议按“缺失率 > 重复率 > 异常率”的优先级进行日常巡检。缺失和重复通常有明确的阈值规则，而异常检测需要结合统计方法与业务知识。
1.3 异常值定义与分类
异常值（Outlier）是指数据集中与其他观测值存在显著差异的样本点。在风控场景中，异常值既可能是数据噪声（需清洗），也可能是欺诈信号（需保留并预警）。因此，异常值的识别必须结合业务上下文。
从数据质量治理角度，异常值通常分为以下三类：
- 全局异常点（Global Outlier）：在整体数据分布中明显偏离，例如单笔交易金额为正常均值的100倍。
- 局部异常点（Local Outlier）：在局部邻域中偏离，例如同一用户在凌晨3点的异常登录行为。
- 上下文异常点（Contextual Outlier）：在特定时间、空间或业务上下文中异常，例如双十一期间的低频购买行为反而可疑。
1.4 异常值检测在数据质量治理中的定位
异常值检测并非孤立的数据清洗步骤，而是数据质量治理闭环中的关键环节。下图展示了异常值检测在风控数据治理流程中的位置与上下游关系。
常见误区：很多团队将异常值检测等同于“剔除离群点”，这在风控场景中可能造成严重问题。例如，欺诈交易本身就是异常值，如果直接剔除，模型将永远学不到欺诈模式。正确的做法是：先分类，再决策。
1.5 异常值检测的典型方法概览
在进入后续章节的深入讲解之前，先对异常值检测的常用方法做一个全景式概览，帮助建立整体认知。
| 方法类别 | 代表算法 | 适用场景 | 风控案例 |
|---|---|---|---|
| 统计方法 | Z-Score、IQR、Grubbs检验 | 单变量、正态分布数据 | 交易金额、年龄、收入字段 |
| 距离方法 | KNN、LOF、ABOD | 多变量、局部异常 | 设备指纹、IP地址聚类 |
| 集成方法 | 孤立森林、HBOS | 高维数据、大规模样本 | 用户行为画像、交易序列 |
| 深度学习方法 | AutoEncoder、GANomaly | 非结构化数据、复杂模式 | 文本描述、图像验证、时序行为 |
学习路径建议：本章课程将按照“统计方法 → 距离方法 → 集成方法 → 深度方法”的递进顺序展开。建议先掌握IQR和Z-Score，再逐步过渡到复杂模型。每种方法都会配合Python代码实战与风控案例。