1. 风控数据概述
风控数据是构建信用评分、欺诈检测、反洗钱等模型的基础原料。数据质量直接决定模型的上限——即使算法再先进，低质量数据也无法产出稳定、可解释的风控决策。本节从数据来源、数据类型、生命周期及质量影响四个维度展开，为后续异常值处理与质量优化建立全局认知。
1.1 风控数据来源
风控数据通常来自内部业务系统、外部征信机构、第三方数据服务商以及用户主动提交的信息。不同来源的数据在时效性、准确性和覆盖度上差异显著，需在接入阶段进行质量预检。
| 来源类别 | 典型数据项 | 质量特点 |
|---|---|---|
| 内部业务系统 | 交易流水、账户信息、还款记录 | 高完整性，但可能存在系统间口径不一致 |
| 央行征信/百行征信 | 信贷记录、逾期明细、查询次数 | 权威性高，更新频率受报告周期限制 |
| 第三方数据服务商 | 多头借贷、设备指纹、黑名单 | 覆盖广，但数据格式与质量参差不齐 |
| 用户主动提交 | 身份信息、收入证明、联系人 | 易出现虚假填写、格式错误、缺失 |
| 公开/爬虫数据 | 工商信息、司法涉诉、舆情 | 时效性不稳定，需清洗结构化 |
实践建议：在数据接入层建立来源标签（source_tag），便于后续按来源统计缺失率、异常率，实现分源质量监控。
1.2 风控数据类型
风控数据按结构特征可分为结构化数据、半结构化数据和非结构化数据；按业务含义又可分为身份属性、行为轨迹、关联网络和外部征信四大类。理解数据类型有助于选择合适的异常检测与清洗策略。
- 身份属性数据：年龄、性别、学历、职业、居住地等。多为类别型或定序型，异常表现为逻辑矛盾（如年龄为负数）或罕见取值。
- 行为轨迹数据：登录频次、交易金额、操作时间、设备切换次数等。多为数值型或时间序列，异常表现为离群点、突增/突降或周期性偏离。
- 关联网络数据：通讯录联系人、IP 共享设备、担保关系等。多为图结构，异常表现为团伙聚集、孤立节点或异常子图。
- 外部征信数据：征信查询次数、逾期天数、负债率等。多为数值型，异常表现为极端值或与内部数据交叉验证不一致。
1.3 风控数据生命周期
风控数据从产生到退役经历采集、传输、存储、处理、建模、监控、归档七个阶段。每个阶段都可能引入数据质量问题，需要在对应环节设置质量门禁。
- 采集阶段：数据从源系统或接口进入风控平台。常见问题包括字段缺失、格式不匹配、重复采集。
- 传输阶段：数据通过 API、消息队列或批量文件流转。可能出现丢包、延迟、乱序。
- 存储阶段：数据写入 Hive、ClickHouse、MySQL 等存储引擎。易出现分区错乱、编码错误、数据漂移。
- 处理阶段：ETL 清洗、特征工程、异常值处理。此阶段是质量优化的核心干预点。
- 建模阶段：训练集、验证集、测试集划分。数据泄露、时间穿越、样本选择偏差是主要风险。
- 监控阶段：模型上线后实时/离线监控数据分布漂移、特征稳定性。PSI、CSI 等指标用于触发告警。
- 归档阶段：历史数据按合规要求保存或销毁。需确保数据可追溯、可审计。
1.4 数据质量对风控模型的影响
数据质量是风控模型稳定性的基石。低质量数据会从多个维度侵蚀模型效果，具体影响机制如下：
| 数据质量问题 | 对模型的影响 | 典型后果 |
|---|---|---|
| 缺失值过多 | 有效样本量减少，特征信息丢失 | 模型区分度下降，KS/AUC 衰减 |
| 异常值未处理 | 拉偏特征分布，影响分箱与权重 | 评分卡分数偏移，误拒/误放风险上升 |
| 数据标签错误 | 引入噪声标签，误导监督学习 | 模型过拟合错误模式，泛化能力差 |
| 时间穿越 | 未来信息泄露到训练集 | 离线指标虚高，上线后断崖式下跌 |
| 分布漂移 | 训练集与线上数据分布不一致 | 模型失效，需频繁重建或校准 |
| 重复数据 | 样本权重被放大，统计偏差 | 模型对重复模式过度敏感 |
关键认知：数据质量优化不是一次性任务，而是伴随数据生命周期的持续过程。在风控场景中，异常值处理和数据一致性校验是投入产出比最高的两个环节。后续章节将逐一深入讲解具体方法与工程实践。
注意：切勿在未做数据质量评估的情况下直接建模。建议在项目启动阶段建立数据质量看板，监控缺失率、异常率、重复率、分布稳定性等核心指标，形成质量基线后再进入特征工程与模型训练。