3. Flink 核心概念速览：DataStream、算子、状态、时间语义、Watermark

在深入商户批次风险迁移的实时诊断之前，必须建立对 Flink 核心编程模型的统一认知。本章将快速梳理五个最关键的抽象概念：DataStream（数据流）、算子（Operator）、状态（State）、时间语义（Time Semantics）和 Watermark（水位线）。这些概念构成了所有实时规则引擎和风险迁移逻辑的底层基础。

3.1 DataStream：实时数据的核心抽象

Flink 将任何实时数据流都抽象为 DataStream[T]，其中 T 是流中事件的类型。在商户风险场景中，一条典型的交易事件可以表示为：

// 商户交易事件 POJO
public class TransactionEvent {
    public String merchantId;      // 商户ID
    public String transId;         // 交易流水号
    public double amount;          // 交易金额
    public long eventTime;         // 事件发生时间（毫秒时间戳）
    public String riskLevel;       // 风险等级
}

DataStream 支持三种基本数据流形态：

3.2 算子：构建诊断 DAG 的积木

Flink 的算子（Operator）是构成作业拓扑（DAG）的基本单元。每个算子对 DataStream 执行一次转换。以下是风险诊断中最常用的算子分类：

3.3 状态：记住商户的“过去”

状态（State）是 Flink 区别于普通流处理引擎的核心能力。在商户批次风险迁移场景中，状态用于存储每个商户的历史行为画像，使得当前事件可以与历史数据对比，从而发现异常迁移模式。

Flink 提供两种主要状态类型：

// 使用 ValueState 记录商户上次交易时间
public class LastTradeTimeFunction extends KeyedProcessFunction<String, TransactionEvent, Void> {
    private ValueState<Long> lastTradeTime;

    @Override
    public void open(Configuration parameters) {
        ValueStateDescriptor<Long> descriptor =
            new ValueStateDescriptor<>("lastTradeTime", Types.LONG);
        lastTradeTime = getRuntimeContext().getState(descriptor);
    }

    @Override
    public void processElement(TransactionEvent event, Context ctx, Collector<Void> out) {
        Long previous = lastTradeTime.value();
        if (previous != null && (event.getEventTime() - previous) > 3600000) {
            // 距离上次交易超过1小时，触发风险提醒
        }
        lastTradeTime.update(event.getEventTime());
    }
}

3.4 时间语义：事件时间 vs 处理时间

Flink 支持三种时间语义，在风险迁移诊断中必须正确选择：

3.5 Watermark：处理乱序事件的“时钟”

Watermark（水位线）是 Flink 在事件时间语义下处理乱序事件的核心机制。它本质上是一个时间戳，表示“在这个时间戳之前的所有事件都已经到达”。当 Watermark 超过窗口结束时间时，触发窗口计算。

Watermark 的生成策略直接影响风险诊断的准确性：

// 自定义 Watermark 生成器：允许 10 秒乱序
DataStream<TransactionEvent> streamWithWatermarks = transactionStream
    .assignTimestampsAndWatermarks(
        WatermarkStrategy.<TransactionEvent>forBoundedOutOfOrderness(Duration.ofSeconds(10))
            .withTimestampAssigner((event, timestamp) -> event.getEventTime())
    );

3.6 核心概念关系总览

下图展示了 DataStream、算子、状态、时间语义和 Watermark 在 Flink 作业中的协作关系：

3.7 风险场景中的概念映射

将上述核心概念映射到商户批次风险迁移诊断场景：