4. 信用评分模型开发流程：数据获取、特征工程、模型训练、验证、上线全流程

信用评分模型的开发是一个系统化工程，遵循从数据到决策的完整闭环。本节将拆解全流程的五个核心阶段，帮助学员建立端到端的开发视角。

4.1 全流程总览

一个标准信用评分模型的生命周期包含以下五个阶段，每个阶段都有明确的输入、输出和质量控制点：

4.2 数据获取与探查

数据获取阶段的核心目标是构建一个包含所有潜在预测变量的宽表。典型的数据源包括：

• 内部数据： 客户基本信息表、贷款申请表、还款流水表、逾期记录表、交易行为表。
• 外部数据： 央行征信报告、百行征信、同盾/前海等第三方评分、多头借贷数据。
• 衍生数据： 基于时间窗口的聚合特征（如近 3 个月查询次数、近 6 个月最大逾期天数）。

-- 字段缺失率与唯一值探查
SELECT 
    '字段名' AS field_name,
    COUNT(*) AS total_rows,
    SUM(CASE WHEN value IS NULL THEN 1 ELSE 0 END) AS null_count,
    ROUND(SUM(CASE WHEN value IS NULL THEN 1 ELSE 0 END) * 1.0 / COUNT(*), 4) AS null_rate,
    COUNT(DISTINCT value) AS unique_count
FROM raw_table;

4.3 特征工程核心步骤

特征工程是将原始数据转化为模型可用的预测变量的过程。对于信用评分模型，以下步骤至关重要：

1. 缺失值处理： 连续变量用中位数/均值填充，分类变量用众数或单独设为一个类别。
2. 异常值截断： 对连续变量在 1% 和 99% 分位数处进行截断（Winsorize）。
3. 分箱与 WOE 编码： 将连续变量离散化，计算每个分箱的 WOE（Weight of Evidence）值，替代原始数值。
4. IV 值筛选： 计算每个变量的 IV（Information Value），保留 IV > 0.02 的变量。
5. 多重共线性检验： 计算 VIF（Variance Inflation Factor），剔除 VIF > 10 的变量。

4.4 模型训练与验证

信用评分模型的主流算法是逻辑回归（Logistic Regression），因其可解释性强、监管友好。训练流程如下：

• 样本划分： 按时间顺序划分训练集（60%）、验证集（20%）、测试集（20%），避免未来信息泄露。
• 模型训练： 使用逻辑回归，目标变量为“是否逾期 30 天以上”，特征为 WOE 编码后的变量。
• 评分卡刻度： 将逻辑回归系数转换为整数评分，通常设定基准分 600 分，每增加 20 分风险减半。

4.5 上线部署与监控

模型通过验证后，进入上线部署阶段。部署方式通常有两种：

• API 服务： 将模型封装为 RESTful API，业务系统通过 HTTP 请求调用评分服务。
• 决策引擎： 将评分卡规则配置到决策引擎（如 Drools、FICO Blaze），实现实时决策。

上线后必须建立监控体系，核心监控指标包括：

WITH actual AS (
    SELECT 
        CASE WHEN score BETWEEN 0 AND 300 THEN '0-300'
             WHEN score BETWEEN 301 AND 500 THEN '301-500'
             WHEN score BETWEEN 501 AND 700 THEN '501-700'
             ELSE '701+' END AS score_bin,
        COUNT(*) AS actual_cnt
    FROM scoring_log WHERE dt = CURRENT_DATE
    GROUP BY score_bin
),
expected AS (
    SELECT 
        score_bin,
        expected_pct
    FROM model_expected_distribution
)
SELECT 
    a.score_bin,
    a.actual_cnt,
    e.expected_pct,
    (a.actual_cnt * 1.0 / SUM(a.actual_cnt) OVER()) AS actual_pct,
    ROUND(LOG((a.actual_cnt * 1.0 / SUM(a.actual_cnt) OVER()) / e.expected_pct) * 
          ((a.actual_cnt * 1.0 / SUM(a.actual_cnt) OVER()) - e.expected_pct), 6) AS psi_contrib
FROM actual a
JOIN expected e ON a.score_bin = e.score_bin;

4.6 全流程关键检查清单

为确保模型开发质量，建议在每个阶段结束时对照以下清单进行自查：

• 数据获取： 是否覆盖了至少 12 个月的历史数据？是否包含好坏样本定义所需的时间窗口？
• 特征工程： 是否对连续变量进行了分箱？WOE 是否单调？IV 是否大于 0.02？
• 模型训练： 是否按时间划分样本？逻辑回归系数符号是否符合业务逻辑？
• 模型验证： 验证集 KS 是否大于 0.3？训练集与验证集 KS 差异是否小于 0.05？
• 上线部署： 是否配置了 PSI 监控？是否有回滚机制？是否进行了 A/B 测试？