3. 数据准备与清洗：数据源选择、缺失值处理、异常值检测、数据标准化与分箱
数据准备与清洗是评分沙盘推演中最基础、也是最耗时的环节。原始数据通常来自多个异构系统，包含大量噪声、缺失和异常值。如果这一阶段处理不当，后续的模型训练和策略分群将建立在“沙上之塔”上。本节将系统讲解从数据源选择到分箱的全流程操作规范。
3.1 数据源选择与整合
在风控场景中，数据源通常分为三类：
| 数据源类型 | 典型字段 | 质量要求 | 更新频率 |
|---|---|---|---|
| 内部业务数据 | 申请信息、还款记录、交易流水 | 高（核心数据） | T+1 |
| 征信数据 | 央行征信、百行征信、多头借贷 | 中高（需授权） | 实时/日 |
| 第三方替代数据 | 运营商、电商、社保、公积金 | 中（需清洗） | 周/月 |
实操建议：评分沙盘推演初期，优先选择覆盖率高（>80%）、缺失率低（<15%）的核心字段。避免一次性接入过多低质量替代数据，否则会大幅增加清洗成本。
数据整合时需注意用户唯一标识（User ID）的对齐。建议使用以下步骤：
- 字段映射：将不同源的同义字段统一命名（如“逾期天数”与“dpd”映射为
overdue_days）。 - 时间窗口对齐：确保所有特征的时间戳在同一时区，且观察期与表现期严格分离。
- 去重与关联：按用户ID+时间戳去重，保留最新一条记录。
3.2 缺失值处理
缺失值处理没有“万能公式”，需根据字段的业务含义和缺失机制选择策略。下表总结了常见处理方法：
| 缺失机制 | 典型字段 | 推荐处理方式 | 注意事项 |
|---|---|---|---|
| 完全随机缺失（MCAR） | 用户填写的非必选项 | 删除（缺失率<5%）或均值填充 | 删除后需检查样本量是否足够 |
| 随机缺失（MAR） | 收入、职业等敏感信息 | 中位数/众数填充，或模型预测填充 | 避免使用均值填充（易受极端值影响） |
| 非随机缺失（MNAR） | 逾期天数（优质客户无逾期） | 单独编码为“0”或“无此行为” | 必须保留缺失指示变量 |
关键原则：对于风控模型，缺失本身也是一种信息。建议为每个高缺失率字段生成一个“是否缺失”的二元指示变量（
is_missing_xxx），作为候选特征加入分群模型。
3.3 异常值检测
异常值会严重扭曲分箱边界和评分卡刻度。在评分沙盘推演中，推荐使用分位数截断法和孤立森林两种方法结合检测。
避坑提示：不要直接删除所有异常值。部分异常值（如短期内大量借贷）可能是高风险用户的真实行为模式，应单独分箱处理。
异常值检测的标准流程：
- 单变量检测：对连续变量（如年龄、收入、负债率）使用箱线图，将超出
Q1 - 1.5*IQR或Q3 + 1.5*IQR的值标记为候选异常。 - 业务规则过滤：例如“年龄<18岁”或“收入>1000万”明显不合逻辑，直接归为缺失或单独编码。
- 多变量检测：使用孤立森林或LOF算法，识别组合异常（如“低收入+高负债+高消费”）。
3.4 数据标准化
标准化是为了消除不同量纲对模型的影响。在评分卡场景中，最常用的是Z-score标准化和Min-Max归一化。两者的选择取决于后续是否使用分箱：
- Z-score标准化：
x' = (x - μ) / σ。适用于逻辑回归等对数据分布敏感的模型。标准化后均值为0，标准差为1。 - Min-Max归一化：
x' = (x - min) / (max - min)。将数据缩放到[0,1]区间。适用于神经网络或距离度量模型。
评分沙盘推演特例：如果后续使用等频分箱或等距分箱，标准化步骤可以省略，因为分箱本身已经完成了离散化处理。但若使用最优分箱（基于IV值），建议先做Z-score标准化，以稳定分箱边界。
3.5 数据分箱
分箱是将连续变量离散化的过程，是评分卡构建的核心步骤。好的分箱能提升模型的稳定性和可解释性。常见分箱方法对比如下：
| 分箱方法 | 原理 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| 等距分箱 | 将变量值域等分为k段 | 简单直观，计算快 | 易受异常值影响，箱内样本不均 | 探索性分析 |
| 等频分箱 | 每箱包含相同数量的样本 | 箱内样本均匀，稳定性好 | 可能将相近值分到不同箱 | 评分卡初版 |
| 最优分箱 | 基于IV值或卡方检验迭代合并 | 信息保留度高，区分能力最强 | 计算量大，可能过拟合 | 正式评分卡建模 |
| 决策树分箱 | 用单变量决策树确定分裂点 | 自动捕捉非线性关系 | 分裂点不稳定，依赖参数 | 特征工程阶段 |
分箱后的质量评估指标：
- IV值（Information Value）：衡量每个分箱对好坏样本的区分能力。IV > 0.02 为有效特征，IV > 0.3 为强特征。
- WOE（Weight of Evidence）：每个分箱的坏账率相对于整体坏账率的对数比。WOE应呈单调趋势，否则说明分箱不合理。
- 分箱覆盖率：每个分箱的样本占比不应低于5%，避免过细分箱导致统计不稳定。
3.6 本章小结
数据准备与清洗是评分沙盘推演的“地基工程”。核心要点总结如下：
- 数据源选择：优先高覆盖率、低缺失的核心字段，做好时间窗口对齐。
- 缺失值处理：区分缺失机制，保留缺失指示变量作为特征。
- 异常值检测：单变量+多变量结合，异常值不直接删除，而是单独分箱。
- 标准化：根据后续是否分箱决定是否执行；分箱场景下可省略。
- 分箱：从等频/等距起步，迭代至最优分箱，用WOE单调性和覆盖率验证质量。
下一阶段预告：完成数据清洗和分箱后，我们将进入特征工程环节，构建用于评分沙盘推演的候选特征池。