4. 架构设计模式总览：分层架构、管道-过滤器模式、事件驱动模式在DAG调度中的映射
在分布式任务调度与数据传输系统中，DAG（有向无环图）不仅是一种数据结构，更是一种架构思想的载体。将经典的软件架构设计模式映射到DAG调度场景中，能够帮助我们构建出高内聚、低耦合、可扩展的数据管道。本章将重点剖析三种核心模式——分层架构、管道-过滤器模式和事件驱动模式——在DAG调度中的具体映射方式与适用边界。
4.1 分层架构：DAG的纵向切分与职责隔离
分层架构（Layered Architecture）将系统按职责划分为若干水平层次，每一层只与相邻层交互。在DAG调度系统中，这种模式天然适用于将任务定义、调度决策、执行引擎与数据存储进行解耦。
核心映射原则： 每一层对应DAG生命周期中的一个独立阶段，层间通过标准接口通信，上层依赖下层提供的服务，下层对上层无感知。
| 层次 | DAG调度职责 | 典型组件 | 层间通信方式 |
|---|---|---|---|
| 用户接口层 | DAG定义、任务编排、状态可视化 | REST API、Web UI、CLI | HTTP/gRPC |
| 调度决策层 | DAG解析、依赖分析、拓扑排序、资源分配 | DAGEngine、ResourceManager | 内部RPC/消息队列 |
| 执行引擎层 | 任务实例化、并行执行、容错重试 | Worker、Executor、TaskRunner | 进程间通信/共享内存 |
| 数据存储层 | 元数据、中间结果、日志持久化 | DB、KV Store、Object Store | JDBC/S3 SDK |
实践建议： 在微服务化的DAG调度系统中，分层架构有助于实现“调度与执行分离”。调度层只负责决策，执行层只负责运行，两者通过持久化的任务状态队列解耦，避免调度器因执行阻塞而崩溃。
4.2 管道-过滤器模式：DAG的横向数据流与任务链
管道-过滤器模式（Pipes and Filters）将系统分解为一系列独立的处理单元（过滤器），通过数据通道（管道）连接。在DAG调度中，每个任务节点就是一个过滤器，任务间的依赖边就是管道，数据沿着DAG边流动并逐级转换。
核心映射原则： DAG中的每个节点是一个过滤器，接收输入数据，执行转换逻辑，产生输出数据；DAG的有向边是管道，负责将上游输出传递给下游输入。
| 管道-过滤器元素 | DAG调度中的映射 | 典型实现 |
|---|---|---|
| 过滤器（Filter） | DAG中的任务节点 | MapReduce任务、Spark Stage、Flink Operator |
| 管道（Pipe） | DAG中的有向边 | Kafka Topic、内存队列、文件系统路径 |
| 数据源（Source） | 入度为零的起始节点 | Kafka Consumer、JDBC Reader、File Watcher |
| 数据汇（Sink） | 出度为零的终止节点 | HDFS Writer、Elasticsearch Indexer、API Callback |
避坑指南： 管道-过滤器模式在DAG中容易产生“数据倾斜”问题——当某个过滤器处理速度远慢于上游时，会导致管道积压。解决方案包括：引入背压机制（Backpressure）、为关键过滤器设置并行度、使用有界缓冲区防止内存溢出。
4.3 事件驱动模式：DAG的异步触发与动态编排
事件驱动模式（Event-Driven Architecture）以事件为核心，组件之间通过事件进行异步通信。在DAG调度中，每个任务的完成、失败、超时都可以作为事件，触发下游任务的调度决策。这种模式特别适合实时数据管道和动态DAG场景。
核心映射原则： DAG中的每个任务节点既是事件的生产者（任务完成时发出事件），也是事件的消费者（依赖的事件到达后触发执行）。调度器不再轮询，而是通过事件总线被动响应。
| 事件驱动元素 | DAG调度中的映射 | 典型事件类型 |
|---|---|---|
| 事件生产者 | DAG中的任务节点（执行完成后发布事件） | TaskCompleted、TaskFailed、TaskTimeout |
| 事件总线 | 消息中间件，负责事件的发布、订阅、路由 | Kafka Topic、RabbitMQ Exchange |
| 事件消费者 | 调度器或下游任务，监听事件并触发动作 | DAGEngine、ConditionalTask、CallbackHandler |
| 事件规则引擎 | 定义事件到任务触发的映射关系 | Drools、自定义规则表、状态机 |
实践建议： 在需要动态DAG编排的场景中（如条件分支、循环回溯），事件驱动模式比分层架构更灵活。例如，任务B需要等待任务A和任务C都完成才能执行，事件总线可以轻松实现“AND”聚合触发，而无需在调度器中硬编码依赖逻辑。
4.4 三种模式的对比与选型
在实际的DAG调度系统设计中，三种模式并非互斥，而是可以组合使用。下表从多个维度对比三种模式，帮助你在不同场景下做出选型决策。
| 对比维度 | 分层架构 | 管道-过滤器模式 | 事件驱动模式 |
|---|---|---|---|
| 核心关注点 | 职责分离、层次清晰 | 数据流转换、任务链 | 异步解耦、动态响应 |
| DAG结构特点 | 纵向分层，每层内部可含子DAG | 横向线性或树形数据流 | 网状或条件分支结构 |
| 耦合度 | 层间松耦合，层内紧耦合 | 过滤器间完全解耦 | 完全异步解耦 |
| 实时性 | 中等（依赖层间调用延迟） | 高（数据流式处理） | 极高（事件触发无轮询） |
| 动态编排能力 | 弱（需预定义层次结构） | 中（可动态增减过滤器） | 强（运行时订阅/取消事件） |
| 典型应用场景 | 离线批处理调度、ETL作业 | 流式数据处理、数据管道 | 实时告警、动态工作流、微服务编排 |
| 容错处理 | 层内重试，层间超时 | 过滤器级重试，管道缓冲 | 事件重放，死信队列 |
选型建议：
- 如果你的DAG调度系统以离线批处理为主，任务结构相对固定，优先选择分层架构，便于团队分工和运维管理。
- 如果你的系统以数据管道为核心，强调数据转换的清晰性和可复用性，管道-过滤器模式是最自然的选择。
- 如果你的系统需要高实时性、动态编排、条件分支等复杂调度逻辑，事件驱动模式能提供最大的灵活性。