模型开发复盘：数据准备、特征工程与模型验证

模型开发阶段的复盘是PD模型持续优化的核心环节。本章聚焦于数据准备、特征工程及模型训练与验证三个关键子阶段，通过系统性的回顾与诊断，识别开发过程中的潜在偏差与效率瓶颈，为后续的模型迭代提供数据驱动的改进方向。

1. 数据准备阶段复盘

数据是模型的基础。数据准备阶段的复盘重点在于评估数据的完整性、一致性、时效性以及样本代表性。任何数据层面的瑕疵都会在后续环节中被放大，最终影响模型的泛化能力。

1.1 核心复盘清单

1.2 数据质量评估流程

建议建立标准化的数据质量评分卡，对每个数据源进行量化打分。以下是一个典型的数据质量评估流程：

1. 字段级探查： 计算每个字段的缺失率、唯一值比率、零值比率。
2. 逻辑校验： 验证字段间业务逻辑（如“放款日期”应早于“首期还款日期”）。
3. 分布对比： 对比开发样本与全量客群在关键指标（如收入、年龄）上的分布差异。
4. 时间序列一致性： 检查不同月份的数据量、坏账率是否存在显著波动。

2. 特征工程复盘

特征工程决定了模型性能的上限。复盘时需关注特征的预测能力、稳定性、业务可解释性以及计算成本。避免过度依赖复杂特征而忽视其在实际业务中的落地难度。

2.1 特征筛选与评估

特征筛选不应仅依赖统计指标（如IV值、相关系数），还需结合业务逻辑与模型鲁棒性。以下是一个特征评估的多维框架：

2.2 特征工程常见陷阱

• 数据泄露： 使用了表现期之后的信息构造特征（如“用户是否在逾期后进行了投诉”）。
• 过度离散化： 连续变量分箱过多，导致模型过拟合训练集噪声。
• 缺失值处理不当： 简单填充均值/中位数，忽略了缺失本身可能包含的信息（如“收入字段缺失”可能暗示用户收入不稳定）。
• 特征冗余： 高度相关的特征同时入模，导致模型共线性问题，影响可解释性。

3. 模型训练与验证复盘

模型训练与验证是技术细节最密集的阶段。复盘应覆盖算法选择、超参数调优、验证策略以及性能评估四个层面。重点在于区分“模型过拟合”与“模型欠拟合”，并评估模型在极端场景下的表现。

3.1 验证策略复盘

单一的随机划分验证往往无法反映模型在时间序列上的表现。建议采用以下验证策略组合：

3.2 模型性能评估矩阵

除了AUC和KS，复盘时还应关注以下业务导向的评估指标：

• 区分度： KS > 0.3 为可接受，> 0.5 为优秀。需检查KS是否在验证集上显著低于训练集。
• 校准度： 使用校准曲线（Calibration Curve）评估预测概率与实际违约率的一致性。若存在系统性偏差，需进行概率校准（如Platt Scaling、Isotonic Regression）。
• 排序稳定性： 计算不同时间窗口内，模型对同一批用户的评分排序是否发生剧烈变化。
• 业务影响： 模拟模型在拒绝率、通过率、坏账率之间的权衡曲线（如Lift Chart、Profit Curve）。

4. 模型开发复盘全景图

以下SVG图展示了模型开发复盘的核心流程与关键检查点，帮助团队系统性地定位问题环节。

5. 复盘总结与行动清单

模型开发复盘不是一次性的检查，而是一个持续改进的闭环。建议在每个模型迭代周期结束后，按照以下清单进行系统性回顾：