3. Flink 核心概念：DataStream API、Source/Transformation/Sink、并行度与Slot、任务提交流程

在构建量化回测坏账率哨兵系统时，Flink 的流处理核心概念是支撑实时计算的基础。本章将深入剖析 DataStream API 的三大组件、并行度与 Slot 的分配机制，以及任务提交的完整流程，帮助你在回测场景中精准控制数据管道。

3.1 DataStream API 三大组件：Source、Transformation、Sink

DataStream API 是 Flink 流处理的核心编程模型，它将数据流抽象为 DataStream[T]，并通过三个关键阶段构建处理管道：

3.1.1 典型代码结构

// 1. 创建执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

// 2. Source：从 Kafka 读取交易数据
DataStream<Transaction> transactions = env
    .addSource(new FlinkKafkaConsumer<>("trade-topic", new JSONDeserializationSchema(), props))
    .assignTimestampsAndWatermarks(WatermarkStrategy.<Transaction>forBoundedOutOfOrderness(Duration.ofSeconds(5))
        .withTimestampAssigner((event, timestamp) -> event.getEventTime()));

// 3. Transformation：计算每分钟坏账率
DataStream<BadRateResult> badRateStream = transactions
    .filter(t -> t.getStatus().equals("OVERDUE"))
    .keyBy(t -> t.getProductType())
    .window(TumblingEventTimeWindows.of(Time.minutes(1)))
    .aggregate(new BadRateAggregateFunction());

// 4. Sink：输出到 ClickHouse
badRateStream.addSink(new ClickHouseSink<>("jdbc:clickhouse://localhost:8123/badrate_db", new BadRateRowSerializer()));

// 5. 提交作业
env.execute("Quant BadRate Sentinel Job");

3.2 并行度与 Slot：资源分配的核心机制

Flink 通过 并行度（Parallelism） 和 Task Slot 实现分布式并行计算。理解两者的关系是优化回测性能的关键。

3.2.1 并行度

并行度定义了算子（Operator）的并行子任务数量。每个并行子任务处理数据流的一个分区。并行度可以在多个层级设置：

• 算子级别：dataStream.map(new MyMapper()).setParallelism(4)
• 执行环境级别：env.setParallelism(8)
• 提交作业时：flink run -p 8 MyJob.jar

3.2.2 Task Slot

Task Slot 是 TaskManager 中资源分配的最小单元，每个 Slot 代表一组固定的内存和 CPU 资源。一个 TaskManager 可以拥有多个 Slot，每个 Slot 可以运行一个或多个算子子任务。

3.2.3 并行度与 Slot 关系示意图

3.3 任务提交流程

Flink 作业从提交到运行需要经过客户端、JobManager 和 TaskManager 三个角色的协作。理解提交流程有助于排查回测作业的部署问题。

3.3.1 提交流程步骤

1. 客户端提交：用户通过 flink run 命令或 REST API 提交作业 JAR 包。
2. 生成 JobGraph：客户端将 DataStream API 程序转换为 JobGraph（包含算子、边、并行度等信息）。
3. 上传资源：客户端将 JAR 包、配置文件等资源上传到 JobManager 的分布式存储（如 HDFS、S3）。
4. JobManager 接收：JobManager 将 JobGraph 转换为 ExecutionGraph（包含并行子任务、中间结果分区等运行时信息）。
5. 资源申请：JobManager 向 ResourceManager 申请 TaskManager 的 Slot 资源。
6. TaskManager 注册：TaskManager 启动后向 JobManager 注册可用 Slot。
7. 任务调度：JobManager 将 ExecutionGraph 中的子任务分配到具体的 Slot 上执行。
8. 任务运行：TaskManager 启动子任务线程，开始处理数据流。

3.3.2 任务提交流程架构图