1. 课程导论：高频Tick数据坏账率PSI哨兵的概念、课程目标与学习路径
1.1 为什么需要“坏账率PSI哨兵”？
在消费金融、信用卡、小微贷等高频交易场景中，风控模型依赖Tick级（逐笔）数据实时计算用户坏账率。然而，随着客群迁移、政策调整或数据源变更，模型输入特征的分布会发生偏移，导致坏账率预测失准。传统月度/周度监控存在滞后，无法在风险爆发前预警。
本课程引入PSI（Population Stability Index，群体稳定性指标）哨兵机制，将PSI计算粒度从“天级”压缩到分钟级甚至Tick级，对高频坏账率特征进行实时漂移检测，实现秒级告警与自动处置。
核心痛点： 高频Tick数据量巨大（日均数亿条），传统PSI计算无法满足实时性；坏账率模型一旦漂移，每分钟都在产生错误决策。
1.2 高频Tick数据坏账率PSI哨兵的定义
| 概念 | 说明 |
|---|---|
| 高频Tick数据 | 每笔交易/行为产生的逐条记录，时间戳精确到毫秒，包含用户ID、金额、行为标签、模型打分等字段。 |
| 坏账率 | 逾期M3+（或自定义口径）的贷款余额占总贷款余额的比例，是风控核心KPI。 |
| PSI | 衡量两个分布（如实时分布 vs 基准分布）差异的指标，PSI > 0.1 视为显著漂移。 |
| 哨兵（Sentinel） | 持续运行在数据管道中的监控代理，实时计算PSI，触发阈值后自动执行降级/阻断/通知。 |
综合定义：高频Tick数据坏账率PSI哨兵是一套实时数据工程系统，在Tick级数据流上持续计算坏账率相关特征的PSI，当检测到分布漂移超过阈值时，立即发出告警并触发风控策略降级。
1.3 课程目标
完成本课程后，学员将具备以下能力：
- 理解原理： 掌握PSI的数学定义、分箱策略及在高频场景下的适配改造。
- 工程实现： 基于Flink/Kafka/Redis构建Tick级PSI计算管道，实现毫秒级延迟。
- 哨兵策略： 设计多级阈值（警告/危险/阻断）与自动处置流程。
- 可视化与告警： 搭建实时PSI看板，集成钉钉/企微/邮件告警。
- 生产调优： 处理数据倾斜、窗口对齐、历史回溯等工程难题。
适用人群： 风控算法工程师、数据平台开发、金融科技架构师、量化风控分析师。建议具备Python/SQL基础，了解流计算概念。
1.4 学习路径与章节地图
课程共30章，分为四大模块：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第1-8章 | PSI数学原理、Tick数据建模、坏账率口径、基准分布构建 |
| 工程篇 | 第9-18章 | Flink流处理、Kafka管道、Redis状态存储、PSI计算算子 |
| 哨兵篇 | 第19-25章 | 阈值策略、自动降级、告警集成、A/B测试 |
| 实战篇 | 第26-30章 | 全链路压测、故障演练、生产部署、案例复盘 |
1.5 关键术语速查表
| 术语 | 缩写 | 定义 |
|---|---|---|
| 群体稳定性指标 | PSI | ∑(实际占比 - 预期占比) × ln(实际占比 / 预期占比) |
| 高频Tick数据 | — | 逐笔交易/事件数据，时间精度毫秒级 |
| 坏账率 | NPL Ratio | 逾期M3+余额 / 总贷款余额 |
| 哨兵 | Sentinel | 实时监控代理，自动触发处置动作 |
| 分箱 | Binning | 将连续特征划分为离散区间，用于PSI计算 |
| 基准分布 | Baseline | 模型训练期或稳定期的特征分布快照 |
1.6 学习建议与前置准备
- 环境准备： 建议使用Linux/Mac系统，安装Docker、Java 11+、Python 3.8+。
- 数据模拟： 课程提供Tick数据生成器脚本，无需真实生产数据即可练习。
- 代码仓库： 每章配套代码均托管在GitHub，包含完整Flink作业、Kafka配置、Redis状态定义。
- 难度曲线： 基础篇偏理论，工程篇开始需要动手编码，建议按顺序学习，不要跳章。
注意： 本课程不涉及具体业务数据脱敏与合规问题，生产环境部署前请务必咨询法务与安全团队。