2. Flink 核心概念速览：DataStream、Event Time、Processing Time、Watermark、Checkpoint

在构建实时坏账率回测系统之前，必须掌握 Flink 的五大核心概念。它们是理解流处理逻辑、保证数据准确性以及实现故障恢复的基石。本章将逐一拆解这些概念，并说明它们在坏账率计算场景中的具体含义。

2.1 DataStream：流处理的核心抽象

DataStream 是 Flink 中对无界数据流的统一抽象。在坏账率回测中，每一条交易记录、每一次还款行为、每一笔逾期标记，都会被封装为 DataStream 中的一个事件。

• 无界流：数据持续产生，没有明确的结束点。例如用户刷卡行为是 7×24 小时不间断的。
• 有界流：数据有明确的起点和终点，通常用于批处理或历史回放。在回测场景中，我们常将历史数据作为有界流输入。
• 转换操作：通过 map、filter、keyBy、window 等算子，将原始交易流转化为坏账率指标流。

2.2 Event Time 与 Processing Time：时间语义的抉择

Flink 支持三种时间语义，在回测系统中，Event Time 是绝对主力。

2.3 Watermark：乱序世界的时钟

Watermark 是 Flink 中衡量 Event Time 进度的机制，它告诉算子：“在这个时间戳之前的数据已经全部到达，可以触发计算了。” 在坏账率回测中，由于网络延迟、批处理上传等原因，数据乱序是常态。

• 工作原理：Watermark = 当前观察到最大 Event Time - 允许的最大乱序时间。
• 周期性生成：通常使用 assignTimestampsAndWatermarks 配合 WatermarkStrategy 实现。
• 对坏账率的影响：如果 Watermark 设置过小，会漏掉部分逾期事件；设置过大，会延迟坏账率的计算，影响实时性。

// 示例：为交易流分配时间戳和 Watermark
DataStream<Transaction> withTimestampsAndWatermarks = transactionStream
    .assignTimestampsAndWatermarks(
        WatermarkStrategy.<Transaction>forBoundedOutOfOrderness(Duration.ofMinutes(5))
            .withTimestampAssigner((event, timestamp) -> event.getEventTime())
    );

2.4 Checkpoint：故障恢复的保险单

Checkpoint 是 Flink 实现容错的核心机制。它定期保存算子状态和数据源偏移量，当作业失败时，可以从最近的 Checkpoint 恢复，保证 Exactly-Once 语义。

• 状态后端：支持 MemoryStateBackend、FsStateBackend、RocksDBStateBackend。回测场景推荐使用 RocksDB，支持大状态。
• 间隔配置：生产环境通常设置为 30 秒到 5 分钟。间隔越短，恢复越快，但性能开销越大。
• 对齐机制：Barrier 对齐保证所有算子状态的一致性。

// 示例：启用 Checkpoint 并配置 RocksDB 状态后端
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(60000); // 每 60 秒一次 Checkpoint
env.setStateBackend(new RocksDBStateBackend("hdfs:///flink/checkpoints", true));

2.5 核心概念关系图

下图展示了 DataStream、Event Time、Watermark 和 Checkpoint 在坏账率回测作业中的协作关系：

2.6 概念对比速查表