2. PD模型开发流程：数据收集与清洗、特征工程、模型训练、模型验证、模型部署与监控

信用评分PD（Probability of Default，违约概率）模型的开发是一个系统化的工程流程，通常遵循从数据到部署的完整生命周期。本章将拆解该流程的六个核心阶段，帮助你在在线推理场景下建立清晰的开发与迭代认知。

核心要点：PD模型开发不是一次性的建模任务，而是一个持续迭代的闭环。在线推理对模型的稳定性、响应速度和可解释性提出了更高要求，每个阶段都需要为“上线后”的实时预测做好准备。
PD模型开发六阶段全景流程图 PD模型开发六阶段全景流程 ① 数据收集 与清洗 ② 特征工程 构造与筛选 ③ 模型训练 算法与调参 ④ 模型验证 区分度与校准 ⑤ 模型部署 在线推理接入 ⑥ 模型监控 漂移与迭代 反馈迭代 在线推理关注点 实时性 · 稳定性 · 可解释性

2.1 数据收集与清洗

数据是模型的基础。在信用评分场景中，数据来源通常包括内部业务系统、第三方征信机构以及用户授权数据。在线推理要求数据管道具备低延迟和高可用性。

数据类别 典型字段 在线推理注意事项
身份信息 年龄、性别、婚姻状况、学历 需脱敏处理，避免敏感属性歧视
信用历史 征信查询次数、逾期记录、信贷账户数 数据时效性要求高，需实时或准实时同步
行为数据 收入流水、消费行为、社交网络 需用户授权，注意数据合规与隐私保护
外部数据 多头借贷、黑名单、法院执行信息 接口调用稳定性与成本控制
实践建议：在数据清洗阶段，除了处理缺失值和异常值，还需要为在线推理建立“数据质量监控指标”，例如字段缺失率、取值分布偏移等，以便在模型上线后快速发现数据源问题。

2.2 特征工程

特征工程是将原始数据转化为模型可用的预测变量的过程。对于PD模型，特征通常需要经过分箱、WOE编码、IV筛选等步骤。在线推理场景下，特征计算逻辑必须与训练时完全一致，且计算耗时需控制在毫秒级。

特征工程核心步骤

  1. 特征构造：基于业务理解生成衍生变量，如收入负债比、近3个月查询次数等。
  2. 特征分箱：将连续变量离散化，常用等频分箱或卡方分箱。
  3. WOE编码：将分箱后的变量转换为证据权重（Weight of Evidence），建立与违约概率的单调关系。
  4. IV筛选：根据信息量（Information Value）筛选预测能力强的特征，通常IV > 0.02为有效特征。
  5. 特征存储：将特征计算逻辑封装为可复用的函数或服务，确保训练与推理的一致性。
常见陷阱：特征穿越（Feature Leakage）是PD模型开发中最容易犯的错误之一。例如，使用未来的还款数据构造当前的特征，会导致模型在验证集上表现虚高，上线后效果大幅下降。务必确保特征计算的时间窗口严格对齐。

2.3 模型训练

PD模型通常采用逻辑回归（Logistic Regression）作为基线模型，因其可解释性强、部署成本低。对于更复杂的非线性关系，也可以使用XGBoost、LightGBM等树模型，但需要额外关注模型的可解释性。

# 逻辑回归PD模型训练示例（Python伪代码）
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# 假设 X 为WOE编码后的特征矩阵，y 为违约标签（0/1）
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression(penalty='l2', C=1.0, solver='lbfgs')
model.fit(X_train, y_train)

# 输出模型系数（用于后续可解释性分析）
print("特征系数:", model.coef_)
print("截距项:", model.intercept_)

2.4 模型验证

模型验证是确保模型在未见数据上表现稳健的关键环节。对于PD模型，主要关注区分度（Discrimination）和校准度（Calibration）。

验证指标 计算公式/说明 合格标准
KS统计量 好坏样本累计分布的最大差值 KS > 0.3 为可接受，> 0.5 为优秀
AR值 Accuracy Ratio，与KS正相关 AR > 0.5 为良好
AUC ROC曲线下面积 AUC > 0.75 为可接受
校准曲线 预测概率 vs 实际违约率 曲线接近对角线，偏差 < 5%
在线推理特别关注：除了上述指标，还需要进行“时间稳定性验证”，即在时间序列上划分训练集、验证集和测试集（如按月份划分），确保模型在不同时间窗口下表现一致。这是防止模型过拟合到特定时间段的重要手段。

2.5 模型部署

模型部署是将训练好的PD模型封装为在线推理服务的过程。在微服务架构下，通常将模型打包为Docker镜像，通过RESTful API或gRPC接口对外提供服务。

部署架构关键组件

  • 特征计算服务：负责实时计算WOE等衍生特征，保证与训练逻辑一致。
  • 模型推理服务：加载模型文件，接收特征向量并返回违约概率。
  • 结果后处理：将概率映射为评分卡分数（如：Score = 600 + 50 * log(odds)）。
  • 缓存与降级：对高频特征进行缓存，在第三方数据源不可用时启用降级策略。
# 模型推理服务示例（Flask API）
from flask import Flask, request, jsonify
import joblib
import numpy as np

app = Flask(__name__)
model = joblib.load('pd_model.pkl')  # 加载训练好的模型

@app.route('/predict', methods=['POST'])
def predict():
    data = request.get_json()
    features = np.array(data['features']).reshape(1, -1)
    prob = model.predict_proba(features)[0, 1]  # 违约概率
    score = 600 + 50 * np.log((1 - prob) / prob)  # 转换为评分卡分数
    return jsonify({'pd_prob': round(prob, 4), 'score': round(score, 2)})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

2.6 模型监控

模型上线后，监控是保障模型长期有效性的核心。在线推理场景下，监控需要覆盖数据、模型和业务三个层面。

模型监控三维度架构图 模型监控三维度架构 数据监控 特征分布漂移 模型监控 PSI · 区分度衰减 业务监控 通过率 · 坏账率 告警与重训决策 PSI > 0.1 触发告警 PSI: 群体稳定性指标

监控关键指标

监控维度 关键指标 告警阈值
数据监控 特征缺失率、取值分布（PSI） PSI > 0.1 或缺失率突变 > 5%
模型监控 模型分数分布PSI、KS趋势、AUC趋势 PSI > 0.1 或KS下降 > 20%
业务监控 审批通过率、实际违约率 通过率波动 > 10% 或违约率上升 > 30%
最佳实践：建立模型监控仪表盘（Dashboard），每日自动生成监控报告。当监控指标触发告警时，需要快速定位原因：是数据源变更、客群迁移还是模型本身衰减？根据根因决定是否需要重训模型或调整特征。

以上六个阶段构成了PD模型开发的完整闭环。在实际项目中，每个阶段都需要与在线推理的实时性、稳定性和可解释性要求对齐，才能确保模型在业务场景中持续产生价值。

← 上一章 📖 返回目录 下一章 →