1. 课程导论:量化策略回测中的坏账率风险与哨兵监控体系概述

1.1 回测中的“幸存者偏差”与坏账率陷阱

量化策略在回测阶段往往表现优异,但上线后却可能遭遇坏账率飙升。核心原因在于:回测数据无法完全模拟未来客群分布的变化。当策略依赖的历史样本分布与实时客群发生偏移时,模型对坏账的预估能力会急剧下降。这种风险被称为“分布外泛化风险”,而群体稳定性指标(PSI,Population Stability Index)正是量化这种偏移的核心工具。

核心观点: 回测坏账率低 ≠ 未来坏账率低。PSI 哨兵机制通过监控特征分布偏移,提前预警策略失效风险,是连接回测与实盘的风险桥梁。

1.2 坏账率风险的三层来源

量化策略在回测中面临的坏账率风险可归纳为以下三层:

风险层级 风险来源 对坏账率的影响
第一层:特征偏移 客群收入、负债率、消费行为等特征分布随时间变化 模型评分失真,低分客群实际违约率升高
第二层:模型衰减 模型权重与决策边界不再适配当前数据 区分度下降,坏账识别能力减弱
第三层:策略失效 拒绝规则、额度定价策略与真实风险错配 误拒好客户或误放坏客户,坏账率双向恶化

1.3 哨兵监控体系:PSI 驱动的三层预警架构

为应对上述风险,本课程构建了一套“哨兵 PSI 监控体系”,将监控节点嵌入策略回测与上线后的全生命周期。体系包含三个核心层级:

  1. 特征层哨兵: 监控每个入模特征的 PSI,识别单个维度的分布漂移。
  2. 评分层哨兵: 监控模型输出评分的 PSI,评估整体风险排序的稳定性。
  3. 策略层哨兵: 监控策略决策(通过/拒绝/定额)的 PSI,量化业务规则的有效性衰减。
实践要点: 哨兵监控不是一次性动作,而是回测阶段就要嵌入的“压力测试”。在回测时模拟 PSI 漂移场景,可以提前定位策略的脆弱环节。
哨兵 PSI 监控体系三层架构 第一层:特征层哨兵 监控每个入模特征的 PSI(如收入、负债率、查询次数) 阈值:PSI < 0.1 稳定;0.1 ≤ PSI < 0.25 需关注;PSI ≥ 0.25 告警 第二层:评分层哨兵 监控模型输出评分的 PSI,评估整体风险排序稳定性 阈值:PSI < 0.1 稳定;0.1 ≤ PSI < 0.25 需关注;PSI ≥ 0.25 告警 第三层:策略层哨兵 监控策略决策(通过/拒绝/定额)的 PSI,量化规则有效性衰减 阈值:PSI < 0.1 稳定;0.1 ≤ PSI < 0.25 需关注;PSI ≥ 0.25 告警

1.4 PSI 计算原理与阈值标准

PSI 通过衡量两个分布(预期分布 vs 实际分布)在各分箱上的差异来量化偏移程度。其计算公式为:

PSI = Σ (实际占比_i - 预期占比_i) × ln(实际占比_i / 预期占比_i)

其中,预期占比_i 为回测样本在第 i 个分箱中的占比,实际占比_i 为监控样本在同一分箱中的占比。分箱通常按等频或等距方式划分(建议 10 箱)。

行业通用的 PSI 阈值标准如下:

PSI 区间 稳定性等级 建议动作
PSI < 0.10 稳定 无需干预,持续监控
0.10 ≤ PSI < 0.25 轻度偏移 需关注,排查特征或客群变化
PSI ≥ 0.25 严重偏移 立即告警,触发策略重检或模型重建
注意: 阈值并非绝对。在坏账率敏感场景(如现金贷、高风险客群),建议将告警阈值收紧至 0.15;在低风险场景(如抵押贷),可适当放宽至 0.30。本课程后续章节将讲解如何根据业务风险偏好动态调整阈值。

1.5 从回测到实盘的哨兵部署流程

哨兵监控体系在策略全生命周期中的部署分为五个关键步骤:

  • 步骤 1: 在回测阶段,使用历史数据计算每个特征和评分的“基准分布”。
  • 步骤 2: 设定 PSI 阈值,并嵌入回测脚本,模拟不同漂移场景下的坏账率变化。
  • 步骤 3: 策略上线后,按日/周/月频率计算实时分布与基准分布的 PSI。
  • 步骤 4: 当 PSI 超过关注阈值时,自动触发特征重要性分析,定位漂移源。
  • 步骤 5: 当 PSI 超过告警阈值时,生成策略失效报告,建议模型更新或规则调整。
哨兵 PSI 监控部署流程(回测 → 实盘) 回测基准分布 历史数据计算 阈值设定 PSI 阈值嵌入 实时监控 日/周/月频率 告警触发 PSI ≥ 阈值 策略 重检 反馈闭环:更新基准分布

1.6 本课程学习路径

本课程共 30 章,从 PSI 基础原理出发,逐步深入到哨兵体系的搭建、自动化监控、阈值调优与策略联动。以下是前 5 章的知识地图:

章节 核心内容 实践产出
第 1 章(本章) 坏账率风险与哨兵监控体系概述 理解 PSI 监控的必要性与三层架构
第 2 章 PSI 数学原理与 Python 实现 手写 PSI 计算函数
第 3 章 特征层哨兵:单变量分布监控 特征 PSI 看板搭建
第 4 章 评分层哨兵:模型输出稳定性监控 评分 PSI 趋势图
第 5 章 策略层哨兵:决策分布与坏账率联动 策略失效预警规则
课程目标: 学完本课程后,你将能够独立搭建一套从回测到实盘的 PSI 哨兵监控系统,在坏账率失控前提前预警,并指导策略迭代。