1. 课程导论:实时交易风控巡检的背景、重要性、课程目标与整体架构概览

1.1 实时交易风控巡检的背景

在金融科技高速发展的今天,交易系统面临着前所未有的挑战。每秒数万笔的交易量、不断演变的欺诈模式、以及监管合规的严格要求,使得传统的离线风控模型(T+1 报表、日终批量评分)已无法满足业务需求。实时交易风控巡检应运而生,它要求系统在毫秒级时间内完成对交易特征的提取、规则匹配与模型评分,并动态监控模型性能的衰减(Drift)。

核心痛点: 模型上线后,由于客群行为变化、季节性波动或外部环境冲击,特征分布会发生偏移(Data Drift / Concept Drift),导致风控模型准确率下降,直接引发误杀(拒绝正常交易)或漏报(放过欺诈交易)。

1.2 为什么需要 SQL + PSI 监控 Drift?

本课程聚焦于两种最实用、最易落地的监控手段:SQL 巡检 与 PSI(群体稳定性指标)监控。

监控手段 核心作用 适用场景 数据粒度
SQL 巡检 实时统计交易流量、拒绝率、特征空值率、阈值命中次数等关键业务指标。 日常值班巡检、告警触发、快速定位异常交易时段。 分钟级 / 小时级
PSI 监控 量化特征分布或模型分数分布的偏移程度,判断模型是否“老化”。 模型版本迭代评估、月度/季度稳定性报告、模型退役决策。 天级 / 周级
课程核心理念: SQL 负责“快”与“准”,PSI 负责“稳”与“深”。两者结合,构建从实时告警到趋势分析的全链路风控巡检体系。

1.3 课程目标

完成本课程后,你将能够:

  • 掌握实时风控巡检架构: 理解从交易接入、特征计算、规则引擎到监控存储的完整数据流。
  • 编写生产级 SQL 巡检脚本: 熟练使用窗口函数、聚合查询、条件计数,实现分钟级交易监控看板。
  • 实现 PSI 自动化计算: 在 Spark 或 Python 环境中,对特征分箱、计算分布差异,并设定 Drift 阈值。
  • 构建 Drift 告警与可视化链路: 将监控结果写入时序数据库,并通过图表展示偏移趋势。

1.4 整体架构概览

下图展示了本课程所设计的实时交易风控巡检与 Drift 监控的整体技术架构。数据从交易系统流入,经过实时计算层与离线分析层,最终服务于巡检看板与告警系统。

实时交易风控巡检与 Drift 监控整体架构 实时交易风控巡检与 Drift 监控整体架构 交易流水 (Kafka) 用户画像 (HBase) 历史样本 (HDFS) 实时计算层 (Spark Streaming / Flink) 特征工程 规则引擎 模型评分 SQL 实时聚合 实时结果 (Redis) 明细日志 (ES) PSI 离线计算 (Spark) 巡检看板 (Grafana) & 告警系统 (Prometheus + AlertManager) Drift 报告 / 值班大屏 / 邮件通知

1.5 课程章节速览

本课程共分为 6 个模块,30 个章节,从基础概念到实战部署,层层递进:

模块 章节范围 核心内容
模块一:基础篇 第 1-5 章 风控巡检概念、SQL 基础、PSI 原理、环境搭建
模块二:SQL 实时巡检 第 6-12 章 窗口聚合、滑动统计、异常检测、巡检脚本编写
模块三:PSI 监控实战 第 13-19 章 特征分箱、PSI 计算、Spark 实现、阈值设定
模块四:告警与可视化 第 20-24 章 Prometheus 集成、Grafana 看板、Drift 趋势图
模块五:进阶与调优 第 25-28 章 多模型监控、特征重要性漂移、性能优化
模块六:综合实战 第 29-30 章 端到端项目部署、巡检报告自动化
前置要求: 建议学员具备基础的 SQL 语法知识(SELECT、WHERE、GROUP BY)以及 Python 或 Scala 的基本编程能力。本课程将提供完整的代码示例与数据集。

1.6 本章小结