2. Flink 核心概念回顾：DataStream API、ProcessFunction、状态后端、Checkpoint 与 Savepoint

在构建特征服务与批次偏移诊断系统之前，必须牢固掌握 Flink 的四大核心支柱：DataStream API（编程入口）、ProcessFunction（精细控制）、状态后端（存储抽象）以及 Checkpoint / Savepoint（容错与运维）。本章将逐一拆解，并重点说明它们在实时诊断场景中的角色。

2.1 DataStream API：流处理的核心抽象

DataStream API 是 Flink 对无界数据流的统一编程模型。在批次偏移诊断中，我们通常将 Kafka 中的实时特征日志映射为 DataStream<FeatureEvent>，然后通过算子链完成清洗、窗口聚合与告警触发。

2.2 ProcessFunction：精细控制与状态访问

ProcessFunction 是 Flink 提供的最底层、最灵活的算子接口。它允许开发者访问事件时间戳、定时器以及托管状态。在批次偏移诊断中，我们通常使用 KeyedProcessFunction 来实现“延迟告警”逻辑：当某个特征在指定窗口内未收到预期批次时，触发告警。

// 示例：KeyedProcessFunction 用于偏移超时检测
public class OffsetTimeoutFunction extends KeyedProcessFunction<String, FeatureEvent, Alert> {
    private ValueState<Long> lastBatchTimeState;

    @Override
    public void open(Configuration parameters) {
        ValueStateDescriptor<Long> descriptor =
                new ValueStateDescriptor<>("lastBatchTime", Types.LONG);
        lastBatchTimeState = getRuntimeContext().getState(descriptor);
    }

    @Override
    public void processElement(FeatureEvent event, Context ctx, Collector<Alert> out) {
        // 更新最后批次时间
        lastBatchTimeState.update(event.getEventTime());
        // 注册下一批次超时定时器（例如 30 秒后）
        ctx.timerService().registerEventTimeTimer(event.getEventTime() + 30000);
    }

    @Override
    public void onTimer(long timestamp, OnTimerContext ctx, Collector<Alert> out) {
        Long lastTime = lastBatchTimeState.value();
        if (lastTime != null && (timestamp - lastTime) >= 30000) {
            out.collect(new Alert(ctx.getCurrentKey(), "批次偏移超时"));
        }
    }
}

2.3 状态后端：状态的存储与容错基石

状态后端决定了 Flink 状态数据如何存储、如何与 Checkpoint 交互。在特征服务中，状态后端的选择直接影响诊断系统的吞吐量与恢复速度。

2.4 Checkpoint 与 Savepoint：容错与运维双引擎

Checkpoint 是 Flink 自动触发的分布式快照机制，用于故障恢复；Savepoint 是用户手动触发的快照，用于作业升级、迁移或调试。在特征服务诊断中，两者共同保障“偏移告警状态”不丢失。

2.5 核心概念在批次偏移诊断中的协同

将上述概念串联起来，一个典型的批次偏移诊断作业架构如下：

1. Source：从 Kafka 消费特征日志，映射为 DataStream<FeatureEvent>。
2. KeyBy：按 featureId 分区，形成 KeyedStream。
3. ProcessFunction：维护每个特征的“最后批次时间”状态，注册超时定时器。
4. 状态后端：使用 RocksDB 存储百万级特征状态，开启增量 Checkpoint。
5. Checkpoint：每 15 秒自动快照，保障故障后偏移状态不丢失。
6. Sink：超时告警写入 Kafka 告警 Topic，同时输出到 Prometheus 指标。