2. Flink 基础回顾：架构、DataStream API、时间语义与 Watermark

在深入 Flink CEP 异常交易风控之前，必须牢固掌握 Flink 的核心基础。本章将系统回顾 Flink 的运行时架构、DataStream API 编程模型、时间语义以及 Watermark 机制，为后续的复杂事件处理打下坚实的技术根基。

2.1 Flink 运行时架构

Flink 采用经典的 主从（Master-Worker）架构，由 JobManager 和 TaskManager 两大核心组件构成，协同完成作业的调度与执行。

2.2 DataStream API 编程模型

DataStream API 是 Flink 处理无界数据流的核心抽象。一个典型的 Flink 流处理程序包含三个基本步骤：数据源（Source） → 转换操作（Transformation） → 数据汇（Sink）。

// 1. 创建执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 2. 定义 Source：从 Socket 读取数据
DataStream<String> textStream = env.socketTextStream("localhost", 9999);

// 3. 定义 Transformation：分词、分组、计数
DataStream<Tuple2<String, Integer>> wordCounts = textStream
    .flatMap((String line, Collector<Tuple2<String, Integer>> out) -> {
        for (String word : line.split(" ")) {
            out.collect(new Tuple2<>(word, 1));
        }
    })
    .keyBy(value -> value.f0)
    .sum(1);

// 4. 定义 Sink：打印结果
wordCounts.print();

// 5. 执行作业
env.execute("Socket WordCount");

2.3 时间语义

在流处理中，时间是一个核心维度。Flink 支持三种时间语义，理解它们的区别对于构建正确的风控逻辑至关重要。

2.4 Watermark 机制

Watermark 是 Flink 中用于处理 乱序数据 和 延迟数据 的核心机制。它本质上是一个时间戳，表示“在这个时间戳之前的数据已经全部到达”，从而触发基于 Event Time 的窗口计算。

2.4.1 Watermark 的工作原理

• 生成方式： 通过 assignTimestampsAndWatermarks 方法指定 Watermark 生成策略。
• 传播方式： Watermark 会随着数据流在算子之间广播，下游算子取所有输入分区中 最小的 Watermark 作为当前进度。
• 触发窗口： 当 Watermark 超过窗口的结束时间时，触发该窗口的计算。

2.4.2 Watermark 生成策略

Flink 提供了两种内置的 Watermark 生成策略，开发者也可以自定义 WatermarkStrategy。

DataStream<Transaction> transactionStream = env
    .addSource(new FlinkKafkaConsumer<>("transactions", ...))
    .assignTimestampsAndWatermarks(
        WatermarkStrategy.<Transaction>forBoundedOutOfOrderness(Duration.ofSeconds(5))
            .withTimestampAssigner((event, timestamp) -> event.getEventTime())
    );

2.4.3 处理延迟数据

即使使用了 Watermark，仍然可能有数据在窗口触发之后才到达。Flink 提供了 Allowed Lateness 和 Side Output 两种机制来处理这些迟到的数据。

• Allowed Lateness： 允许窗口在 Watermark 触发后，再等待一段时间（例如 1 分钟）。在此期间到达的迟到数据会触发窗口的再次计算。
• Side Output： 将超过 Allowed Lateness 的数据发送到侧输出流，供后续的补偿处理或日志记录。