1. 课程导论:Flink实时风控特征巡检的背景、课程目标、适用人群、学习路径概览

1.1 业务背景:为什么需要实时风控特征巡检?

在金融支付、电商交易、社交互动等场景中,黑产攻击已从“单点爆破”演变为“分布式慢速渗透”。传统离线批处理特征计算存在分钟级甚至小时级延迟,无法拦截秒级决策的欺诈行为。实时风控特征巡检的核心诉求是:在事件发生后的毫秒到秒级窗口内,完成特征提取、聚合计算与规则匹配。

关键痛点:
  • 离线特征滞后:T+1 特征无法用于实时拦截。
  • 状态爆炸:亿级用户、千级特征维度,状态存储与访问成为瓶颈。
  • 数据倾斜:热点用户/设备导致单节点计算过载。
  • 回溯与校验困难:特征值异常时难以快速定位计算链路。

Flink 凭借其纯流式架构、精确一次语义、可管理的大状态、事件时间处理等特性,成为实时风控特征巡检的事实标准引擎。

1.2 课程目标

本课程旨在帮助学员从零到一构建一套生产级 Flink 实时风控特征巡检系统,覆盖特征定义、计算、存储、监控与调优全链路。

目标维度 具体描述
原理层 理解实时特征与离线特征的本质差异,掌握 Flink 时间语义、状态后端、Watermark 机制在风控场景下的选型依据。
开发层 熟练使用 Flink SQL / DataStream API 实现滑动窗口计数、比率、去重、序列特征等 20+ 种常见风控特征。
架构层 设计高可用、低延迟的特征巡检链路,解决状态倾斜、Checkpoint 超时、特征回溯等生产难题。
运维层 掌握特征巡检的监控指标体系(TPS、状态大小、背压)、告警规则与性能调优方法。

1.3 适用人群

  • 实时计算工程师:希望从基础 API 使用进阶到风控特征生产实践。
  • 风控算法/策略同学:需要理解特征计算的技术约束,与工程团队高效协作。
  • 大数据架构师:正在设计或重构公司实时风控平台,需要参考成熟架构方案。
  • 运维/SRE:负责 Flink 集群稳定性,需要掌握特征巡检场景下的监控与调优要点。

1.4 学习路径概览

课程共 30 章,按“基础 → 核心 → 进阶 → 实战”四阶段递进:

阶段 章节范围 核心内容
基础篇 第 1-6 章 实时风控概念、Flink 环境搭建、DataStream/SQL 基础、状态与时间语义。
核心篇 第 7-16 章 20+ 种特征实现(计数/去重/比率/序列/画像)、自定义 UDF、维表关联。
进阶篇 第 17-24 章 状态调优、数据倾斜治理、端到端延迟优化、特征回溯与数据修复。
实战篇 第 25-30 章 全链路架构设计、监控告警、压测方案、生产案例复盘。
学习建议:基础篇学员可跳过第 1-2 章直接进入环境搭建;实战篇强烈建议配合提供的 docker-compose 沙箱环境动手操作。

1.5 实时风控特征巡检整体架构

下图展示了本课程将要构建的实时风控特征巡检系统核心架构,涵盖数据接入、特征计算、存储与决策输出:

实时风控特征巡检系统架构(课程覆盖范围) 数据源 Kafka / Pulsar / 日志 Flink 实时计算引擎 DataStream API / Flink SQL 特征存储 Redis / HBase / MySQL 状态后端(RocksDB / Heap) 滑动窗口聚合 去重 / 计数 比率 / 序列特征 画像 / 标签特征 规则引擎 / 模型推理 监控告警(Prometheus + Grafana) 课程重点覆盖区域 特征计算 + 状态管理 + 存储
注意:上图仅展示课程覆盖的核心链路。实际生产环境中,数据源可能包含多个 Kafka 集群,特征存储需要支持高并发读写与 TTL 过期策略,这些内容将在后续章节详细展开。

1.6 课程特色与产出

  • 代码即讲义:每章提供可运行的 Flink SQL / Java 代码片段,附带测试数据。
  • 问题驱动:每个特征实现都从“业务需求 → 技术难点 → 解决方案”展开。
  • 生产视角:包含状态大小监控、Checkpoint 失败排查、数据倾斜调优等一线经验。
  • 结业项目:完成一个包含 10+ 特征的实时风控特征巡检 Demo,并输出性能压测报告。