3. 数据准备与质量检查：数据源梳理、缺失值处理、异常值检测、数据一致性校验
在信用额度定价稳定性巡检中，数据质量直接决定后续模型监控与策略调整的可靠性。本章聚焦于数据准备阶段的四个核心环节：数据源梳理、缺失值处理、异常值检测与数据一致性校验。每个环节都需建立标准化流程，确保输入数据的完整、准确与一致。
3.1 数据源梳理
首先需明确巡检所涉及的数据来源与字段范围。常见数据源包括：
| 数据源类型 | 典型字段 | 用途 |
|---|---|---|
| 申请数据 | 客户ID、收入、负债、职业、学历 | 初始额度定价依据 |
| 行为数据 | 近6个月还款记录、额度使用率、逾期天数 | 动态调额与风险预警 |
| 外部征信 | 征信查询次数、多头借贷数、法院执行记录 | 风险补充验证 |
| 定价策略表 | 额度区间、利率档位、有效期 | 定价稳定性比对 |
巡检要点：梳理数据源时需记录每个字段的业务定义、数据粒度（客户级/账户级/交易级）及更新频率，避免因字段理解偏差导致后续分析错误。
3.2 缺失值处理
缺失值在信用数据中普遍存在，处理不当会引入偏差。处理策略需根据缺失率与字段重要性分级：
| 缺失率 | 字段重要性 | 推荐处理方式 | 注意事项 |
|---|---|---|---|
| < 5% | 高 | 均值/中位数填充，或模型预测填充 | 避免引入尾部偏差 |
| 5% – 20% | 中 | 分组填充（按客群/时间窗） | 需验证填充后分布稳定性 |
| > 20% | 低 | 删除字段或标记为“缺失”类别 | 记录删除原因，便于审计 |
| 任意 | 关键标识 | 必须补全（如客户ID、时间戳） | 缺失则整条记录剔除 |
实践建议：在信用额度定价场景中，收入字段缺失率常达10%-30%。建议先按行业/地区分组填充中位数，再对剩余缺失值使用随机森林或KNN模型预测，最后标记填充标识列以便后续回溯。
3.3 异常值检测
异常值会扭曲统计指标与模型参数。检测方法需结合业务规则与统计方法：
- 业务规则法：年龄 < 18 或 > 100、收入为负、额度使用率 > 100% 等直接判定为异常。
- 统计法：使用 Z-score（|Z| > 3）或 IQR（Q1-1.5IQR / Q3+1.5IQR）识别离群点。
- 模型法：孤立森林（Isolation Forest）或 DBSCAN 聚类，适用于高维字段。
注意：异常值不一定是错误。例如，高净值客户的收入可能远超常规范围，直接删除会丢失重要信息。建议先标记异常值，由业务专家复核后再决定处理方式。
3.4 数据一致性校验
一致性校验确保跨表、跨时间、跨系统的数据逻辑自洽。主要校验维度包括：
| 校验类型 | 检查内容 | 常见问题 |
|---|---|---|
| 跨表一致性 | 同一客户在申请表与行为表中的客户ID、姓名是否一致 | ID 编码规则变更、手工录入错误 |
| 跨期一致性 | 同一客户近6个月额度使用率是否单调递增或递减 | 数据回溯时未对齐时间窗口 |
| 逻辑一致性 | 授信额度 ≤ 客户收入 × 倍数上限；逾期天数 ≥ 0 | 策略规则未同步更新 |
| 汇总一致性 | 各客群额度总和 = 总授信额度 | 分组口径不一致或重复计数 |
3.5 数据质量报告模板
完成上述步骤后，需输出标准化的数据质量报告，供后续巡检使用。报告应包含以下核心指标：
数据质量报告（示例）
==============================
巡检日期：2025-03-15
数据源版本：v2.3.1
1. 数据量统计
- 总记录数：1,245,678
- 字段数：48
- 覆盖客群数：3 个产品线
2. 缺失值统计
- 收入字段缺失率：12.3%（已填充）
- 职业字段缺失率：4.1%（已填充）
- 征信查询次数缺失率：0.8%（保留缺失标记）
3. 异常值统计
- 年龄异常（<18 或 >100）：23 条（已剔除）
- 收入异常（Z-score > 3）：1,245 条（已标记复核）
- 额度使用率异常（>100%）：87 条（已修正）
4. 一致性校验结果
- 跨表一致性：通过（99.97% 匹配）
- 跨期一致性：通过（趋势无断裂）
- 逻辑一致性：未通过（发现 12 条额度超限记录）
- 汇总一致性：通过（分组汇总与总表一致）
5. 最终数据集状态
- 可用记录数：1,244,323
- 可用字段数：47（剔除 1 个高缺失字段）
- 数据质量等级：A-
巡检自动化建议：将上述质量检查流程封装为 Python 脚本 或 SQL 存储过程，每次巡检前自动运行并生成报告。关键字段的缺失率、异常率、一致性通过率应设置阈值告警（如缺失率 > 15% 自动触发人工复核）。