1. 课程导学与风控背景
1.1 风控特征巡检的业务价值
在实时风控系统中,特征是描述用户、设备、行为、环境等维度的量化指标,是规则引擎与模型推理的输入基石。特征一旦延迟、缺失或错误,将直接导致误判、漏过或处置失效。特征巡检正是针对这一环节的主动质量保障机制。
核心业务价值:
- 降低资损:及时发现特征异常,避免因特征缺失导致欺诈交易漏过。
- 提升用户体验:减少因特征错误引发的误杀,降低申诉率。
- 保障模型稳定性:特征质量直接影响模型 AUC 与 PSI,巡检可提前预警漂移。
- 缩短故障恢复时间:自动化巡检替代人工盯盘,MTTR 从小时级降至分钟级。
1.2 低延迟场景定义
本课程聚焦的低延迟风控特征巡检,特指在以下约束条件下完成特征质量检测:
| 维度 | 指标 | 说明 |
|---|---|---|
| 端到端延迟 | < 500ms | 从事件产生到巡检结果输出 |
| 吞吐量 | > 10万 QPS | 单节点处理能力 |
| 特征时效性 | < 1s | 特征值反映最新状态 |
| 巡检频率 | 秒级/事件级 | 每条事件或每 1s 触发一次 |
关键认知:传统离线巡检(T+1 或小时级)无法满足实时风控对特征质量的秒级要求。低延迟巡检不是简单的"加速",而是需要在流计算架构下重新设计检测逻辑、状态管理与告警链路。
1.3 课程目标
完成本课程后,学员将具备以下能力:
- 理解风控特征巡检的完整业务场景与技术挑战。
- 掌握基于 Flink 构建低延迟特征巡检管线的核心方法。
- 实现特征缺失检测、延迟检测、分布漂移检测、异常值检测等常见巡检算子。
- 设计可扩展的巡检架构,支持多特征源、多规则、多告警通道。
- 优化状态后端、Checkpoint、内存模型以降低延迟与资源消耗。
1.4 前置知识要求
| 领域 | 具体要求 |
|---|---|
| Java / Scala | 熟悉基础语法、Lambda、泛型,能阅读 Flink DataStream API 代码 |
| Flink 基础 | 理解 DataStream、KeyedStream、Window、State、Checkpoint 概念 |
| 风控基础 | 了解规则引擎、特征工程、风控事件模型(如用户、设备、行为) |
| 消息队列 | 了解 Kafka 基本概念:Topic、Partition、Consumer Group |
建议:如果对 Flink State 或 Watermark 机制不熟悉,建议先阅读 Flink 官方文档对应章节,或参考本系列配套基础篇。本课程默认学员已具备流计算基础能力。
1.5 风控特征巡检整体架构
下图展示了低延迟风控特征巡检在实时风控系统中的位置与核心组件:
1.6 巡检场景与检测类型
本课程将覆盖以下 5 类核心巡检场景,每类对应独立的 Flink 算子实现:
| 巡检类型 | 检测目标 | 典型阈值 | 输出动作 |
|---|---|---|---|
| 缺失检测 | 特征值在窗口内未到达 | 窗口 10s,缺失率 > 5% | 告警 + 填充默认值 |
| 延迟检测 | 特征到达时间 > 预期延迟 | 延迟 > 500ms | 告警 + 标记延迟标签 |
| 分布漂移 | 特征分布 vs 基线分布差异 | PSI > 0.1 | 告警 + 模型降级 |
| 异常值 | 特征值超出合理范围 | 均值 ± 3σ | 告警 + 过滤异常事件 |
| 空值率 | 特征值为 null 的比例 | 空值率 > 2% | 告警 + 溯源排查 |
课程特色:每个巡检类型都会从业务定义 → 算法设计 → Flink 实现 → 性能优化 → 线上验证五个阶段完整讲解,并提供可直接运行的代码示例。