4. Dataflow编程模型
Apache Beam 是 Google Cloud Dataflow 的编程模型基础。理解 Beam 的核心抽象，是掌握 Dataflow 实时数据处理能力的关键。Beam 的设计目标是用一套统一的 API 同时表达批处理和流处理逻辑，而 Dataflow 则是 Beam 在 Google Cloud 上的托管运行服务。本节围绕 Pipeline、PCollection、Transform、Runner、窗口与触发器六个核心概念展开，帮助读者建立完整的编程模型认知。
Pipeline：从数据源到数据汇的完整拓扑
Pipeline 是对整个数据处理任务的抽象描述，它定义了数据从哪里来、经过哪些处理、最终写到哪里去。一个 Pipeline 本质上是一张有向无环图（DAG），节点是 PCollection 和 Transform，边表示数据流动方向。在 Beam 中，Pipeline 的构建是惰性的：调用 Pipeline.create() 只是创建了一个描述对象，真正的执行发生在调用 pipeline.run() 时，由指定的 Runner 负责翻译和执行。
Pipeline 的典型结构包含三个部分：读取（Read）、处理（Transform）、写出（Write）。例如从 Pub/Sub 读取实时消息，经过清洗、聚合后写入 BigQuery，这就是一条完整的流式 Pipeline。Pipeline 本身不持有数据，它只是处理逻辑的声明。
PCollection：分布式数据集的抽象
PCollection 是 Pipeline 中流动的数据集合，可以理解为分布式的、不可变的、可能无限的数据集。它有两个关键属性：有界性和时间戳。有界 PCollection 对应批处理场景，例如读取一个固定大小的文件；无界 PCollection 对应流处理场景，例如持续从 Pub/Sub 订阅消息。每个元素都携带一个时间戳，这个时间戳在窗口划分和触发器判断中起决定性作用。
PCollection 是不可变的，任何 Transform 都不会修改原始 PCollection，而是生成新的 PCollection。这种不可变性是 Beam 能够安全并行和重试的基础。需要注意的是，PCollection 本身不保证顺序，也不保证元素唯一，如果需要有序或去重，必须通过 Transform 显式实现。
Transform：数据处理的基本单元
Transform 是对 PCollection 的操作，接收一个或多个 PCollection 作为输入，输出零个或多个 PCollection。Beam 提供了丰富的内置 Transform，也支持通过 ParDo 自定义处理逻辑。常见的 Transform 包括：
- ParDo：逐元素处理，最通用的 Transform，适合过滤、映射、富化等操作。
- GroupByKey：按 key 分组，将
KV<K, V>转换为KV<K, Iterable<V>>，是聚合的基础。 - Combine：对元素做聚合计算，如求和、求平均、求最大值，可配合
CombineFn自定义。 - Flatten：合并多个同类型 PCollection。
- Partition：按规则将数据拆分到多个 PCollection。
Transform 可以组合成复合 Transform，将多个步骤封装为一个可复用的逻辑单元。例如一个“清洗并统计”的复合 Transform 内部可能包含 ParDo 过滤、ParDo 映射和 Combine 聚合三个步骤。
Runner：Pipeline 的执行引擎
Runner 负责将 Pipeline 描述翻译成具体执行计划并运行。Beam 支持多种 Runner，包括 DirectRunner（本地测试）、DataflowRunner（Google Cloud 托管）、FlinkRunner、SparkRunner 等。同一份 Pipeline 代码可以在不同 Runner 上运行，这是 Beam 可移植性的核心价值。
DataflowRunner 会将 Pipeline 提交到 Google Cloud Dataflow 服务，自动完成资源分配、并行调度、故障恢复和动态扩缩容。在开发阶段，通常先用 DirectRunner 在本地验证逻辑，再切换到 DataflowRunner 进行大规模部署。需要注意的是，不同 Runner 对某些特性的支持程度可能不同，例如某些 Runner 对无界数据和触发器的支持有限，切换时需确认兼容性。
窗口与触发器：处理无界数据的关键机制
对于无界 PCollection，数据是持续到达的，无法等待全部数据到齐再计算。窗口（Window）将无界数据按时间或数量切分成有限批次，触发器（Trigger）决定何时输出窗口的计算结果。两者配合，才能实现实时聚合。
Beam 提供多种窗口策略：固定窗口按固定时长切分，如每 5 分钟一个窗口；滑动窗口按固定时长和滑动步长切分，窗口之间可以重叠；会话窗口按活动间隙切分，适合用户行为分析。窗口的划分依据是元素的时间戳，而不是处理时间。
触发器决定窗口结果何时被输出。默认触发器在窗口水位线（Watermark）越过窗口末尾时触发一次。对于迟到数据，可以使用 AfterWatermark.pastEndOfWindow().withLateFirings() 在迟到数据到达时再次触发。此外还有 AfterProcessingTime、AfterCount 等触发器，以及 Repeatedly、OrFinally 等组合方式。
窗口与触发器的组合直接影响结果的准确性和延迟。例如，使用固定窗口加默认触发器，结果在窗口结束后输出一次，延迟较低但可能遗漏迟到数据；使用允许迟到并重复触发，结果更完整但会多次输出，下游需要处理更新。实际开发中需要根据业务对延迟和准确性的要求做权衡。
六个概念的协作关系
把六个概念串起来看：Pipeline 是容器，PCollection 是流动的数据，Transform 是处理逻辑，Runner 是执行引擎，窗口和触发器是处理无界数据的时间管理机制。开发者的工作就是：定义 Pipeline，从数据源读取生成 PCollection，通过 Transform 链式处理，用窗口和触发器控制无界数据的聚合时机，最后写出到数据汇，并选择合适的 Runner 执行。