1. 课程导论：风控特征缺失与漂移问题的业务背景、课程目标与学习路径
1.1 业务背景：为什么特征质量是风控的生命线
在信贷、支付、保险等金融风控场景中，模型依赖数百维特征进行实时决策。特征质量直接决定模型区分度与稳定性。然而，生产环境中两大“隐形杀手”——特征缺失与特征漂移——持续侵蚀模型效果，导致坏账率上升、通过率异常、客群结构突变。
核心痛点： 缺失与漂移往往在模型上线后数小时至数天内爆发，传统人工巡检无法覆盖全量特征，且缺乏自动化预警与归因能力。
特征缺失的典型场景
- 上游数据源中断： 三方征信接口超时、爬虫数据源被封、埋点日志丢失。
- ETL 逻辑变更： 字段映射错误、空值处理规则修改、时区对齐失败。
- 样本量萎缩： 新客群无历史行为、冷启动阶段特征覆盖不足。
特征漂移的典型场景
- 客群迁移： 营销渠道变更导致用户画像偏移。
- 宏观环境变化： 政策调整、经济周期、疫情冲击。
- 数据分布自然演化： 用户行为习惯随时间缓慢改变。
| 问题类型 | 业务影响 | 发现难度 | 修复成本 |
|---|---|---|---|
| 特征缺失 | 模型输出 NaN、决策降级、通过率骤降 | 中等（依赖空值率监控） | 低（补数或降级策略） |
| 特征漂移 | 模型区分度下降、AUC 衰减、客群误杀 | 高（需统计检验 + 业务归因） | 高（重训模型或特征工程） |
1.2 课程目标：构建端到端特征质量监控体系
本课程旨在帮助风控算法与数据工程师，从零搭建一套自动化、可解释、可告警的特征缺失巡检与漂移监控系统。完成课程后，你将掌握：
- 缺失巡检： 设计空值率、零值率、异常值占比等监控指标，配置分级告警阈值。
- 漂移检测： 应用 PSI、KS、KL 散度、Population Stability Index 等统计量，识别分布偏移。
- 归因分析： 通过特征重要性排序、分位数对比、SHAP 值变化定位漂移根因。
- 工程落地： 基于 Spark/Flink 实现离线+实时监控管道，对接钉钉/企微告警。
适用人群： 风控算法工程师、数据挖掘工程师、机器学习平台开发、模型运维（MLOps）人员。
1.3 学习路径：从理论到工程的全链路设计
课程共 30 章，分为四大模块。建议按顺序学习，每章配套代码与数据集可在课程仓库中获取。
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 1-6 | 缺失与漂移概念、统计检验方法、监控指标设计 |
| 工程篇 | 7-15 | 离线巡检管道、实时漂移检测、告警策略与降级 |
| 进阶篇 | 16-24 | 多源特征对齐、时序漂移建模、因果归因分析 |
| 实战篇 | 25-30 | 全链路系统搭建、A/B 测试验证、生产案例复盘 |
1.4 课程特色与交付物
- 代码即文档： 每章提供可运行的 Python/Spark 脚本，注释完整。
- 真实数据模拟： 使用脱敏后的信贷申请数据，包含缺失与漂移注入。
- 监控看板模板： 基于 Grafana + Prometheus 的特征质量看板 JSON 配置。
- 告警规则库： 覆盖 20+ 常见缺失与漂移场景的告警规则 YAML 文件。
前置要求： 熟悉 Python 基础、Pandas/Spark 数据处理、基本统计学概念（均值、方差、分布检验）。了解风控模型（评分卡、XGBoost）者更佳。