1. 课程导论:Flink实时风控特征巡检的背景、课程目标、适用人群、学习路径概览
1.1 业务背景:为什么需要实时风控特征巡检?
在金融支付、电商交易、社交互动等场景中,黑产攻击已从“单点爆破”演变为“分布式慢速渗透”。传统离线批处理特征计算存在分钟级甚至小时级延迟,无法拦截秒级决策的欺诈行为。实时风控特征巡检的核心诉求是:在事件发生后的毫秒到秒级窗口内,完成特征提取、聚合计算与规则匹配。
关键痛点:
- 离线特征滞后:T+1 特征无法用于实时拦截。
- 状态爆炸:亿级用户、千级特征维度,状态存储与访问成为瓶颈。
- 数据倾斜:热点用户/设备导致单节点计算过载。
- 回溯与校验困难:特征值异常时难以快速定位计算链路。
Flink 凭借其纯流式架构、精确一次语义、可管理的大状态、事件时间处理等特性,成为实时风控特征巡检的事实标准引擎。
1.2 课程目标
本课程旨在帮助学员从零到一构建一套生产级 Flink 实时风控特征巡检系统,覆盖特征定义、计算、存储、监控与调优全链路。
| 目标维度 | 具体描述 |
|---|---|
| 原理层 | 理解实时特征与离线特征的本质差异,掌握 Flink 时间语义、状态后端、Watermark 机制在风控场景下的选型依据。 |
| 开发层 | 熟练使用 Flink SQL / DataStream API 实现滑动窗口计数、比率、去重、序列特征等 20+ 种常见风控特征。 |
| 架构层 | 设计高可用、低延迟的特征巡检链路,解决状态倾斜、Checkpoint 超时、特征回溯等生产难题。 |
| 运维层 | 掌握特征巡检的监控指标体系(TPS、状态大小、背压)、告警规则与性能调优方法。 |
1.3 适用人群
- 实时计算工程师:希望从基础 API 使用进阶到风控特征生产实践。
- 风控算法/策略同学:需要理解特征计算的技术约束,与工程团队高效协作。
- 大数据架构师:正在设计或重构公司实时风控平台,需要参考成熟架构方案。
- 运维/SRE:负责 Flink 集群稳定性,需要掌握特征巡检场景下的监控与调优要点。
1.4 学习路径概览
课程共 30 章,按“基础 → 核心 → 进阶 → 实战”四阶段递进:
| 阶段 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第 1-6 章 | 实时风控概念、Flink 环境搭建、DataStream/SQL 基础、状态与时间语义。 |
| 核心篇 | 第 7-16 章 | 20+ 种特征实现(计数/去重/比率/序列/画像)、自定义 UDF、维表关联。 |
| 进阶篇 | 第 17-24 章 | 状态调优、数据倾斜治理、端到端延迟优化、特征回溯与数据修复。 |
| 实战篇 | 第 25-30 章 | 全链路架构设计、监控告警、压测方案、生产案例复盘。 |
学习建议:基础篇学员可跳过第 1-2 章直接进入环境搭建;实战篇强烈建议配合提供的 docker-compose 沙箱环境动手操作。
1.5 实时风控特征巡检整体架构
下图展示了本课程将要构建的实时风控特征巡检系统核心架构,涵盖数据接入、特征计算、存储与决策输出:
注意:上图仅展示课程覆盖的核心链路。实际生产环境中,数据源可能包含多个 Kafka 集群,特征存储需要支持高并发读写与 TTL 过期策略,这些内容将在后续章节详细展开。
1.6 课程特色与产出
- 代码即讲义:每章提供可运行的 Flink SQL / Java 代码片段,附带测试数据。
- 问题驱动:每个特征实现都从“业务需求 → 技术难点 → 解决方案”展开。
- 生产视角:包含状态大小监控、Checkpoint 失败排查、数据倾斜调优等一线经验。
- 结业项目:完成一个包含 10+ 特征的实时风控特征巡检 Demo,并输出性能压测报告。