3. DAG 边界定义：什么是 DAG 边界、边界在数据传输中的角色、边界与节点的关系模型
在分布式任务调度系统中，DAG（有向无环图）不仅描述了任务之间的依赖关系，更关键的是定义了数据流动的边界。理解 DAG 边界是设计高效、可靠数据传输机制的前提。
3.1 什么是 DAG 边界
DAG 边界是指 DAG 图中数据流从外部系统进入图内部，以及从图内部流出到外部系统的接口点。它并非物理上的网络边界，而是逻辑上的数据所有权与传输责任的切换点。
从架构视角看，DAG 边界分为两类：
| 边界类型 | 定义 | 典型场景 |
|---|---|---|
| 输入边界（Ingress Boundary） | 数据从外部存储、消息队列或上游系统进入 DAG 的第一个节点 | 从 Kafka 读取日志、从 HDFS 加载历史数据、接收 HTTP 请求 |
| 输出边界（Egress Boundary） | 数据经过 DAG 处理后，最终写回外部系统或触发下游动作 | 写入数据库、发送到下游消息队列、生成报表文件 |
关键认知： DAG 边界是数据所有权转移的契约点。在边界内部，数据由调度框架管理；在边界外部，数据由外部系统负责。这种分离使得 DAG 内部可以专注于计算逻辑，而无需关心外部存储的细节。
3.2 边界在数据传输中的角色
边界在数据传输中承担三个核心角色：
- 数据格式转换器：外部系统通常使用特定的序列化格式（如 Avro、Protobuf、JSON），而 DAG 内部可能使用统一的内部表示（如 Row、Tuple）。边界负责在两者之间进行转换。
- 流量控制与背压适配：外部系统的吞吐能力可能与 DAG 内部处理速度不匹配。边界作为缓冲层，实现背压（Backpressure）机制，防止数据洪流压垮下游节点。
- 故障隔离与重试策略：当外部系统不可用时，边界负责缓存数据并执行重试，避免故障扩散到 DAG 内部节点。
实践建议： 在边界处统一使用幂等写入和可重放读取的接口设计。这能大幅简化 DAG 的容错逻辑，因为边界可以安全地重试而不产生数据重复或丢失。
3.3 边界与节点的关系模型
边界与 DAG 内部节点之间存在三种基本关系模型，理解这些模型有助于设计正确的数据传输拓扑。
| 关系模型 | 描述 | 适用场景 | 数据一致性要求 |
|---|---|---|---|
| 1:1 直连 | 一个边界节点直接连接一个内部计算节点 | 简单 ETL、单源单目标处理 | 低（顺序保证即可） |
| 1:N 扇出 | 一个输入边界将数据分发到多个内部节点 | 数据广播、多路并行处理 | 中（需保证分区一致性） |
| N:1 扇入 | 多个内部节点将结果汇聚到一个输出边界 | 聚合计算、归并写入 | 高（需全局排序或去重） |
下图展示了这三种关系模型在 DAG 边界处的具体形态：
3.4 边界的数据传输契约
边界与节点之间需要定义明确的数据传输契约，以确保数据在跨边界流动时的正确性。核心契约包括：
- 数据完整性契约：边界保证每条数据要么完整到达节点，要么触发明确的失败信号，不存在半条数据或损坏数据。
- 顺序保证契约：边界声明是否保持数据顺序。对于需要严格顺序的场景（如金融交易），边界必须实现有序投递。
- 去重语义契约：边界定义数据投递的语义——
at-most-once（最多一次）、at-least-once（至少一次）或exactly-once（精确一次）。
常见陷阱： 许多系统在设计初期忽略了边界契约的显式声明，导致后期出现数据重复或丢失时难以定位。建议在 DAG 定义文件中，为每个边界节点显式标注其契约参数，作为运行时校验的依据。
3.5 边界与节点的生命周期管理
边界与节点的生命周期并非完全同步。在分布式环境中，边界可能先于节点启动，或后于节点关闭，这种异步性需要特殊处理：
| 生命周期阶段 | 边界行为 | 节点行为 | 数据传输状态 |
|---|---|---|---|
| 启动阶段 | 建立外部连接，开始缓冲数据 | 初始化计算环境，注册到调度器 | 边界缓冲，节点就绪后消费 |
| 运行阶段 | 持续转换并推送数据 | 处理数据，产出中间结果 | 流式传输或微批次传输 |
| 关闭阶段 | 停止接收新数据，排空缓冲区 | 完成当前处理，持久化状态 | 边界等待节点确认后关闭 |
| 故障恢复 | 根据契约重放未确认的数据 | 从最近检查点恢复状态 | 边界与节点协调偏移量 |
下图展示了边界与节点在数据传输过程中的完整交互流程：
3.6 边界设计的最佳实践
架构原则： 边界应保持无状态或最小状态。将状态管理集中在内部节点，边界只负责数据搬运和格式转换。这样当边界节点故障时，可以快速重建而不丢失关键状态信息。
在实际系统设计中，遵循以下实践可以显著提升 DAG 边界的健壮性：
- 显式声明边界契约：在 DAG 定义文件中使用 YAML 或 JSON 格式，明确标注每个边界的
semantics（语义）、ordering（顺序）和retry（重试）策略。 - 边界与节点解耦：通过消息队列或共享存储作为中间层，避免边界与节点直接硬编码连接，提升系统的可扩展性。
- 监控边界吞吐量：在边界处埋点，记录数据流入/流出速率、延迟和错误率，作为 DAG 健康度的关键指标。
- 边界超时与降级：为边界操作设置合理的超时时间，当外部系统响应过慢时，触发降级策略（如跳过、重试或告警）。