1. 课程导论:实时交易风控巡检的背景、重要性、课程目标与整体架构概览
1.1 实时交易风控巡检的背景
在金融科技高速发展的今天,交易系统面临着前所未有的挑战。每秒数万笔的交易量、不断演变的欺诈模式、以及监管合规的严格要求,使得传统的离线风控模型(T+1 报表、日终批量评分)已无法满足业务需求。实时交易风控巡检应运而生,它要求系统在毫秒级时间内完成对交易特征的提取、规则匹配与模型评分,并动态监控模型性能的衰减(Drift)。
核心痛点: 模型上线后,由于客群行为变化、季节性波动或外部环境冲击,特征分布会发生偏移(Data Drift / Concept Drift),导致风控模型准确率下降,直接引发误杀(拒绝正常交易)或漏报(放过欺诈交易)。
1.2 为什么需要 SQL + PSI 监控 Drift?
本课程聚焦于两种最实用、最易落地的监控手段:SQL 巡检 与 PSI(群体稳定性指标)监控。
| 监控手段 | 核心作用 | 适用场景 | 数据粒度 |
|---|---|---|---|
| SQL 巡检 | 实时统计交易流量、拒绝率、特征空值率、阈值命中次数等关键业务指标。 | 日常值班巡检、告警触发、快速定位异常交易时段。 | 分钟级 / 小时级 |
| PSI 监控 | 量化特征分布或模型分数分布的偏移程度,判断模型是否“老化”。 | 模型版本迭代评估、月度/季度稳定性报告、模型退役决策。 | 天级 / 周级 |
课程核心理念: SQL 负责“快”与“准”,PSI 负责“稳”与“深”。两者结合,构建从实时告警到趋势分析的全链路风控巡检体系。
1.3 课程目标
完成本课程后,你将能够:
- 掌握实时风控巡检架构: 理解从交易接入、特征计算、规则引擎到监控存储的完整数据流。
- 编写生产级 SQL 巡检脚本: 熟练使用窗口函数、聚合查询、条件计数,实现分钟级交易监控看板。
- 实现 PSI 自动化计算: 在 Spark 或 Python 环境中,对特征分箱、计算分布差异,并设定 Drift 阈值。
- 构建 Drift 告警与可视化链路: 将监控结果写入时序数据库,并通过图表展示偏移趋势。
1.4 整体架构概览
下图展示了本课程所设计的实时交易风控巡检与 Drift 监控的整体技术架构。数据从交易系统流入,经过实时计算层与离线分析层,最终服务于巡检看板与告警系统。
1.5 课程章节速览
本课程共分为 6 个模块,30 个章节,从基础概念到实战部署,层层递进:
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 模块一:基础篇 | 第 1-5 章 | 风控巡检概念、SQL 基础、PSI 原理、环境搭建 |
| 模块二:SQL 实时巡检 | 第 6-12 章 | 窗口聚合、滑动统计、异常检测、巡检脚本编写 |
| 模块三:PSI 监控实战 | 第 13-19 章 | 特征分箱、PSI 计算、Spark 实现、阈值设定 |
| 模块四:告警与可视化 | 第 20-24 章 | Prometheus 集成、Grafana 看板、Drift 趋势图 |
| 模块五:进阶与调优 | 第 25-28 章 | 多模型监控、特征重要性漂移、性能优化 |
| 模块六:综合实战 | 第 29-30 章 | 端到端项目部署、巡检报告自动化 |
前置要求: 建议学员具备基础的 SQL 语法知识(SELECT、WHERE、GROUP BY)以及 Python 或 Scala 的基本编程能力。本课程将提供完整的代码示例与数据集。