📚 课程目录第2章校准流程总览与阶段划分

2. 校准流程总览与阶段划分

机会评分模型的校准不是一次性操作，而是一个结构化的四阶段工程：准备(Prepare)→执行(Execute)→验证(Validate)→发布(Release)。每个阶段都对应一组独立的参数、测试条件、测量步骤和验收阈值。掌握阶段划分是避免校准失控的第一步。

2.1 四阶段核心参数矩阵

下表汇总了每个阶段的关键参数、默认测试条件、仪器/工具配置以及验收阈值。后续章节的实测步骤均以此表为基准展开。

阶段	核心参数	测试条件	工具/配置	验收阈值（参考）
准备	样本容量 `n_min`、特征稳定性窗口 `t_win`	离线回测环境，数据范围≥6个月	Python 3.10+、pandas、scikit-learn 1.2+	样本缺失率≤2%
执行	学习率 `lr`、正则化系数 `λ`、迭代次数 `max_iter`	GPU/CPU 混合训练，batch size=1024	PyTorch 2.0+、CUDA 11.8	损失下降率≥30%（相对初始）
验证	KS统计量、PSI指数、AUC	OOT样本（out-of-time）时间窗口≥3个月	自定义验证套件 `calib_validate`	KS＞0.2，PSI＜0.1，AUC≥0.7
发布	模型版本号、校准时间戳、回滚标识	灰度环境流量占比5%	配置中心（Apollo/Nacos）+ CI/CD 流水线	灰度流量AUC下降≤0.02

校准参数测试要点：每个阶段都必须在独立环境中运行参数扫描实验，记录lr、λ、n_min等参数的敏感性曲线，最后通过帕累托前沿选择最优组合。

2.2 准备阶段（Prepare）

参数含义：n_min决定模型训练所需的最小正负样本数，t_win控制特征分布对比的时间跨度。

测试条件：离线回测集群，数据快照来自生产日志，时间戳范围不少于6个月。必须使用与生产环境一致的SQL查询逻辑，避免数据漂移。

仪器/工具配置：Python 3.10+、pandas、scikit-learn 1.2+，以及一个专用于数据质量审计的数据检查工具。配置示例：

# 准备阶段参数文件 prepare_config.yaml
n_min: 5000                # 最小样本量
t_win: "2024-01-01/2024-06-30"  # 特征稳定性窗口
feature_list: ["age", "income", "credit_score"]
missing_threshold: 2.0     # 缺失率阈值（%）
oversample_method: "SMOTE"

测量步骤：①加载原始数据→②执行t_win内的特征分布检验→③统计每个特征的缺失率→④若缺失率＞2%，执行填充或剔除。⑤记录数据质量报告。

数据判断与误差分析：若缺失率超过阈值，需要检查上游ETL链路是否中断。特征分布若出现显著偏移（PSI>0.2），则扩大t_win或增加回测周期。

调参策略：n_min过小会导致过拟合，建议采用二分法测试 1000、3000、5000、10000，观察验证集AUC的稳定性。若t_win过短则引入季节噪声，通常保持6个月以上。

2.3 执行阶段（Execute）

参数含义：lr控制梯度下降步长，λ防止过拟合，max_iter决定训练终止条件。

测试条件：GPU集群（至少1张NVIDIA A10G），batch size固定为1024，优化器使用AdamW。特征工程已在准备阶段完成。

仪器/工具配置：PyTorch 2.0+、CUDA 11.8、TensorBoard用于监控loss曲线。

测量步骤：①读取准备好的特征矩阵→②初始化模型（参数lr=1e-3,λ=1e-4）→③训练迭代200轮→④每轮记录训练loss与验证loss→⑤若验证loss连续10轮不下降则早停。

数据判断与误差分析：

训练loss下降不足30%：学习率过低或特征无效。
验证loss上升：过拟合，需增大λ或增加dropout。
loss震荡剧烈：学习率过高，降低1/10。

调参策略：采用网格搜索（lr∈[1e-4,1e-2]共5档，λ∈[1e-5,1e-3]共4档），通过交叉验证选择最优组合。

2.4 验证阶段（Validate）

参数含义：KS统计量衡量正负样本区分度，PSI评估模型稳定性，AUC为总体排序能力。

测试条件：OOT样本必须完全独立于训练集，时间窗口≥3个月。禁止使用任何训练数据。

仪器/工具配置：自定义验证套件calib_validate，内部集成KS计算、PSI计算、AUC计算。示例调用：

from calib_validate import Validator
val = Validator(score_col="pred_score", target_col="label")
metrics = val.evaluate(oot_df)
print(metrics)  # 输出 {"KS":0.35, "PSI":0.04, "AUC":0.82}

测量步骤：①加载OOT数据→②对每个分箱（10等分）计算实际违约率与预测违约率→③计算KS(最大分箱差异)→④计算PSI(各分箱占比变化)→⑤计算AUC。

数据判断与误差分析：

KS＜0.2：模型区分能力不足，需增加特征或调整lr。
PSI≥0.1：模型发生漂移，检查t_win是否覆盖周期特征。
AUC＜0.7：重新评估特征工程和样本权重。

调参策略：若PSI超标，优先调整t_win或引入时间衰减权重；若KS偏低，增加max_iter并降低lr防止跳过最优解。

2.5 发布阶段（Release）

参数含义：模型版本号用于回滚，校准时间戳记录生产部署时刻。

测试条件：灰度环境，流量占比5%，持续观察24小时。同时保留旧模型作为对照组。

仪器/工具配置：Apollo或Nacos配置中心，Jenkins/GitLab CI CI/CD流水线，Prometheus + Grafana实时监控AUC。

测量步骤：①上传模型文件到模型仓库→②配置中心更新灰度路由→③灰度流量持续24h→④采集线上AUC与KS→⑤与旧模型对比，若AUC下降≤0.02则全量发布。

数据判断与误差分析：若灰度期间AUC下降＞0.02，触发自动回滚。需要排查特征不一致或在线分布偏移。

调参策略：发布后第一周监控PSI变化，若PSI增长超0.05，考虑启动在线重训练（online learning）或回滚到旧版本。

⚠️ 常见陷阱：执行阶段未进行早停会导致过拟合模型发布；验证阶段使用与训练集相同的时间窗口会高估AUC。必须在每个阶段严格执行独立的测试条件和数据隔离。

2.6 校准流程四阶段流程图

图中实线箭头表示正常流程流转，虚线箭头表示验证失败或灰度异常时的回退路径。每个阶段都带有明确的验收阈值，只有通过才能进入下一阶段。