用Flink搭建实时因子计算服务的课程资料 - 第2节

2.1 Flink 架构：从“流”到“批”的统一引擎

Apache Flink 是一个开源的、分布式、高性能的流处理框架，其核心设计理念是“流批一体”。这意味着 Flink 将一切数据视为无界流（实时数据）或有界流（批数据），并使用同一套运行时引擎进行处理，从而在架构层面统一了实时与离线计算。

• JobManager（作业管理器）： 集群的“大脑”，负责接收作业、调度任务、协调 Checkpoint 以及故障恢复。它包含 ResourceManager、Dispatcher 和 JobMaster 三个子组件。
• TaskManager（任务管理器）： 集群的“工人”，负责执行具体的计算任务（Task）。每个 TaskManager 拥有多个 Task Slot（任务槽），用于并行执行子任务。
• Client（客户端）： 用户与 Flink 集群交互的入口，负责将作业提交到 JobManager，并可以获取作业执行结果。

2.2 DataStream API：构建实时数据管道的基石

DataStream API 是 Flink 用于处理无界数据流的核心编程接口。它提供了一系列丰富的算子（Operator），允许开发者以声明式的方式构建复杂的数据处理管道。

2.2.1 核心编程模型

一个典型的 DataStream 作业包含三个步骤：Source（数据源） → Transformation（转换） → Sink（数据输出）。

2.2.2 常用算子示例

以下代码展示了如何使用 DataStream API 从 Socket 读取文本流，并进行简单的词频统计：

// 1. 创建执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 2. 定义 Source：从 Socket 读取数据
DataStream<String> textStream = env.socketTextStream("localhost", 9999);

// 3. 定义 Transformation：分词、分组、计数
DataStream<Tuple2<String, Integer>> wordCounts = textStream
    .flatMap((String line, Collector<Tuple2<String, Integer>> out) -> {
        for (String word : line.split(" ")) {
            out.collect(new Tuple2<>(word, 1));
        }
    })
    .keyBy(value -> value.f0)
    .sum(1);

// 4. 定义 Sink：打印结果到控制台
wordCounts.print();

// 5. 提交作业执行
env.execute("Socket WordCount");

2.3 Event Time 与 Processing Time：时间语义的选择

时间是流处理的核心维度。Flink 提供了三种时间语义，其中 Event Time 和 Processing Time 是最常用的两种。

• Processing Time（处理时间）： 数据到达 Flink 算子的本地机器时间。它是最简单、延迟最低的时间语义，但结果不确定，因为数据到达顺序可能因网络延迟而改变。
• Event Time（事件时间）： 数据本身携带的时间戳，通常由业务系统生成。它能够真实反映事件发生的先后顺序，即使数据乱序到达也能保证计算结果的正确性。

2.4 状态与 Checkpoint 机制：保障计算的准确性与容错

状态（State）是 Flink 实现有状态计算的核心。Checkpoint 机制则保证了在发生故障时，作业能够从最近一次成功保存的状态中恢复，实现精确一次（Exactly-Once）的语义。

2.4.1 状态类型

2.4.2 Checkpoint 机制

Checkpoint 是 Flink 的分布式快照机制。JobManager 会定期向所有 Source 算子注入一个 Barrier（屏障），Barrier 随数据流一起流动，当所有算子都收到 Barrier 后，就会将当前状态持久化到外部存储（如 HDFS、S3）。