2. Flink 基础回顾：架构、API、时间语义与 Watermark
在构建支付风控漂移检测系统之前，必须牢固掌握 Flink 的核心基础。本章将回顾 Flink 的运行时架构、两种主要 API（DataStream 与 DataSet）、时间语义（事件时间与处理时间）以及 Watermark 机制。这些概念是后续实现实时批次监控与漂移检测的基石。
2.1 Flink 运行时架构
Flink 采用主从（Master-Worker）架构，核心组件包括 JobManager（主节点）和 TaskManager（工作节点）。JobManager 负责作业调度、检查点协调与故障恢复；TaskManager 负责执行具体的算子任务，每个 TaskManager 包含多个 Task Slot，用于隔离资源。
架构要点： 在支付风控场景中，JobManager 的高可用性（HA）至关重要，通常依赖 ZooKeeper 实现主备切换，确保漂检测作业 7×24 小时不间断运行。
2.2 DataStream 与 DataSet API
Flink 提供两套核心 API：DataStream API 用于无界流处理（实时），DataSet API 用于有界批处理（离线）。在支付风控漂移检测中，DataStream API 是主力，DataSet API 用于模型训练或历史数据回放。
| 对比维度 | DataStream API | DataSet API |
|---|---|---|
| 数据模型 | 无界流（持续到达） | 有界数据集（固定大小） |
| 执行模式 | 流式执行（逐条/微批） | 批式执行（全量） |
| 时间语义 | 事件时间 / 处理时间 / 摄入时间 | 仅处理时间（无 Watermark） |
| 典型算子 | keyBy, window, process, sideOutput | map, reduce, join, groupBy |
| 风控场景 | 实时交易漂移检测、滑动窗口统计 | 离线特征工程、模型训练数据准备 |
实践建议： 在漂移检测作业中，优先使用 DataStream API 的
KeyedProcessFunction 实现自定义时间逻辑，结合 RichMapFunction 加载漂移阈值模型。
2.3 事件时间与处理时间
时间语义是 Flink 流处理的核心抽象，直接影响漂移检测的准确性。
- 事件时间（Event Time）： 事件实际发生的时间戳，通常嵌入在消息体（如支付交易时间）。
优点：不受系统时钟偏移影响，能准确反映业务时序。
缺点：需要处理乱序与延迟。 - 处理时间（Processing Time）： 算子所在机器的系统时钟。
优点：延迟最低，无需等待。
缺点：结果随机器时钟变化，不可重复。 - 摄入时间（Ingestion Time）： 事件进入 Flink 源算子的时间，介于两者之间，较少使用。
风控陷阱： 如果使用处理时间做漂移检测，当系统时钟回拨或任务重启时，窗口统计会错位，导致误报或漏报。支付风控场景必须使用事件时间。
2.4 Watermark 机制
Watermark 是 Flink 中用于衡量事件时间进度的全局标记，本质是一个带时间戳的特殊记录。它告诉 Flink：“在此时间戳之前的数据已经全部到达，可以触发窗口计算。”
2.4.1 Watermark 的核心作用
- 处理乱序： 允许一定程度的乱序到达，通过等待时间（out-of-orderness）容忍延迟。
- 触发窗口： 当 Watermark 超过窗口结束时间时，触发该窗口的计算与输出。
- 控制延迟数据： 迟于 Watermark 到达的数据被丢弃或进入侧输出流（side output）。
2.4.2 Watermark 生成策略
| 策略类型 | 说明 | 适用场景 |
|---|---|---|
| 周期性 Watermark | 每隔 N 毫秒生成一次 Watermark，基于当前最大事件时间减去允许延迟 | 通用流处理，如支付交易流 |
| 标点 Watermark | 在数据流中遇到特定标记（如特殊字段）时生成 Watermark | 数据源自带时间进度标记 |
| 自定义 Watermark | 实现 WatermarkGenerator 接口，完全控制生成逻辑 |
复杂业务规则，如按商户粒度生成 |
2.4.3 代码示例：周期性 Watermark 生成
// 在支付交易流中设置 Watermark，允许 5 秒乱序
DataStream<Transaction> stream = env
.addSource(kafkaSource)
.assignTimestampsAndWatermarks(
WatermarkStrategy.<Transaction>forBoundedOutOfOrderness(Duration.ofSeconds(5))
.withTimestampAssigner((event, timestamp) -> event.getEventTime())
);
// 定义 10 秒滚动窗口，统计交易金额
stream
.keyBy(Transaction::getMerchantId)
.window(TumblingEventTimeWindows.of(Time.seconds(10)))
.aggregate(new AverageAggregate())
.print();
漂移检测关键： Watermark 的延迟时间直接影响漂移检测的灵敏度。延迟过小会导致窗口频繁因乱序数据重新计算；延迟过大会增加检测延迟。建议根据支付业务 99 分位延迟设置，通常为 5~15 秒。
2.4.4 Watermark 与窗口的交互流程
- 数据到达后，Flink 提取事件时间戳并更新当前分区的最大事件时间。
- 周期性 Watermark 生成器计算
当前最大事件时间 - 允许延迟，向下游广播。 - 下游算子收到 Watermark 后，检查所有未触发的窗口：若 Watermark >= 窗口结束时间，则触发窗口计算。
- 迟到的数据（事件时间 < Watermark）进入侧输出流或丢弃。