4、数据准备与治理：数据来源（征信、交易、社交等）、数据清洗、缺失值处理、异常值检测、数据标准化与归一化
在AI风控系统的构建中，数据是模型的“原材料”，其质量直接决定了信贷审核模型的性能上限。业界常说“Garbage in, Garbage out”，在银行级信贷场景中，数据治理不当不仅会导致模型区分度下降，更可能引发合规风险与信贷损失。本章将系统拆解数据准备与治理的完整链路，覆盖多源数据接入、清洗规则、缺失值策略、异常值识别以及特征尺度统一，帮助读者建立一套可落地、可审计的数据工程方法论。
4.1 数据来源：构建多维信贷画像
核心原理：银行级信贷审核模型需要从多个维度刻画借款人的还款意愿与还款能力。单一数据源（如仅依赖央行征信）在覆盖率和区分度上存在明显瓶颈，尤其是对于“薄征信”人群（如年轻用户、新市民）。因此，现代AI风控系统采用“传统金融数据 + 替代数据”的融合策略，在合规前提下扩展数据维度。
主要数据源分类：
| 数据类别 | 典型字段 | 风控价值 | 获取成本 | 合规要求 |
|---|---|---|---|---|
| 央行征信 | 信贷记录、逾期次数、查询次数、担保信息 | 最核心的还款历史证据 | 高（需持牌机构接入） | 严格授权，查询留痕 |
| 银行交易流水 | 工资入账、消费频次、转账对手、余额波动 | 评估收入稳定性与资金链健康度 | 中（需用户授权） | 需明确授权范围 |
| 社交行为数据 | 通讯录规模、活跃时段、社交关系密度 | 辅助识别欺诈团伙与关联风险 | 低（APP采集） | 高度敏感，需最小化采集 |
| 设备指纹 | 设备ID、IP地址、GPS定位、APP列表 | 识别设备农场、模拟器攻击 | 低 | 需隐私合规评估 |
| 第三方黑名单 | 法院执行、税务处罚、多头借贷标记 | 硬性排除高风险用户 | 中 | 数据来源需合法 |
操作流程：数据接入需遵循“最小必要原则”。首先，由业务部门提出数据需求，法务与合规部门进行数据合规审查；其次，技术团队通过API、FTP或数据仓库同步等方式完成数据接入；最后，数据治理团队对每张数据表建立元数据登记，记录数据字典、更新频率、质量规则和血缘关系。
4.2 数据清洗：从原始数据到可用数据
核心原理：原始数据往往存在格式不统一、重复记录、逻辑矛盾等问题。数据清洗的目标是提升数据的准确性、完整性和一致性，为后续特征工程提供干净的基础。
清洗操作清单：
- 格式标准化：统一日期格式（YYYY-MM-DD）、手机号位数（11位）、身份证号校验（18位及校验位）、金额单位（统一为元）。
- 去重处理：基于用户ID、身份证号、手机号等业务主键进行去重。对于同一用户在不同时间段的重复记录，保留最新有效记录或按业务规则合并。
- 逻辑校验：例如“贷款发放日期应早于到期日期”“年龄应在18-70周岁之间”“月收入不应为负数”。违反逻辑规则的记录需标记并退回数据源或按缺失处理。
- 跨字段一致性检查：例如“婚姻状态为已婚”与“配偶姓名非空”应同时成立；若矛盾，需人工介入或按置信度较高的字段为准。
案例拆解：某消费金融公司在接入合作方数据时发现，同一用户在不同时间段的“月收入”字段差异巨大（一次为8000元，另一次为35000元）。经排查，原因是合作方部分历史数据未进行单位换算（部分记录单位为“千元”）。通过建立单位字典和范围校验规则，系统自动识别并修正了约12%的异常记录，避免了模型训练时引入系统性偏差。
4.3 缺失值处理：策略选择与实施
核心原理：信贷数据中缺失值普遍存在，原因包括用户未填写、数据源未返回、系统采集故障等。缺失值处理的核心是在保留信息量的同时，避免引入偏差。不同缺失机制（完全随机缺失MCAR、随机缺失MAR、非随机缺失MNAR）需要采用不同策略。
常用处理方法对比：
| 方法 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| 删除记录 | 缺失率极低（<1%）且为MCAR | 简单，不引入人为偏差 | 丢失样本，可能降低模型泛化能力 |
| 均值/中位数填充 | 数值型特征，缺失率5%-20% | 计算简单，稳定 | 降低方差，可能扭曲分布 |
| 众数填充 | 分类型特征 | 保持类别分布 | 可能过度代表某一类别 |
| 回归/模型插补 | 特征间相关性较强 | 利用多变量信息，精度较高 | 计算开销大，可能过拟合 |
| 单独“缺失”类别 | 缺失本身具有业务含义（如从未有信贷记录） | 保留缺失信息 | 增加特征维度 |
操作流程：首先统计每个特征的缺失率，绘制缺失矩阵；然后结合业务含义判断缺失机制；最后选择合适策略。对于银行级模型，建议对缺失率超过60%的特征谨慎使用，通常直接剔除或合并为“无数据”标志。
4.4 异常值检测：识别极端与欺诈信号
核心原理：异常值在信贷风控中具有双重含义：一是数据录入或采集错误导致的噪声；二是真实存在的极端行为（如突然大额消费、频繁更换设备），后者往往是欺诈或资金链断裂的前兆。因此，异常值检测不能简单“一刀切”删除，需结合业务场景判断。
常用检测方法：
- 统计方法：Z-Score（|Z|>3视为异常）、IQR（四分位距，超出Q1-1.5IQR或Q3+1.5IQR视为异常）。适用于近似正态分布的连续变量。
- 聚类方法：DBSCAN、孤立森林（Isolation Forest），适用于高维特征空间，能捕捉局部异常。
- 业务规则：例如“单笔消费金额超过月收入5倍”“1小时内申请超过3家机构贷款”等硬性规则。
案例拆解：某银行在构建信用卡反欺诈模型时，发现部分用户的“夜间交易占比”特征出现极端值（超过90%）。初步统计法将其标记为异常并准备剔除。但进一步分析发现，这些用户中相当一部分是跨境时差用户（如海外务工人员），其夜间交易属于正常行为。最终，团队引入“设备常用IP归属地”与“交易对手国家”两个辅助特征，将真正的欺诈交易与正常时差用户区分开，模型AUC提升了约3.2%。
4.5 数据标准化与归一化：统一特征尺度
核心原理：信贷模型中的特征量纲差异巨大（如“年龄”20-60，“月收入”3000-50000，“负债率”0-1）。对于基于距离的算法（KNN、SVM）和梯度下降优化的模型（逻辑回归、神经网络），特征尺度不一致会导致模型偏向数值范围大的特征，降低训练效率与可解释性。
常用方法：
| 方法 | 公式 | 输出范围 | 适用场景 |
|---|---|---|---|
| Z-Score标准化 | (x - μ) / σ | 无固定范围，均值为0，标准差为1 | 特征近似正态分布，模型无严格边界要求 |
| Min-Max归一化 | (x - min) / (max - min) | [0, 1] | 特征有明确边界，如年龄、额度 |
| RobustScaler | (x - 中位数) / IQR | 无固定范围，受异常值影响小 | 特征存在较多异常值 |
| MaxAbsScaler | x / max(|x|) | [-1, 1] | 稀疏数据（如文本TF-IDF） |
操作流程：标准化参数（均值、标准差、最小值、最大值）必须仅在训练集上计算，然后应用到验证集和测试集，避免数据泄露。在模型上线后，需将标准化参数持久化保存，用于实时推理时的特征变换。
4.6 数据治理的完整闭环与复盘
核心原理：数据治理不是一次性的预处理任务，而是贯穿模型全生命周期的持续过程。随着业务环境变化、数据源调整、用户行为演变，数据质量会动态波动。因此，需要建立数据质量监控指标与定期复盘机制。
关键监控指标：
- 完整性：每日新增数据的字段缺失率是否超过阈值（如5%）。
- 准确性：抽样比对数据源与数仓中的记录，计算一致率。
- 时效性：数据从产生到可用的延迟时间（T+1或实时）。
- 一致性：同一用户在不同系统中的关键字段（如手机号、身份证）是否一致。
案例复盘：某互联网银行在模型上线后3个月，发现模型区分度（KS值）从0.42下降至0.35。排查发现，合作数据源调整了“收入”字段的口径（从“税后收入”改为“税前收入”），导致特征分布整体偏移。由于数据监控系统未及时告警，团队在两周后才定位问题。事后，该行建立了“特征分布漂移检测”机制，每日计算PSI（Population Stability Index），当PSI超过0.1时自动触发告警并暂停模型自动决策，改为人工审核。