2. 任务调度系统架构总览：调度器、执行器、存储层、监控层的职责划分与交互流程

一个生产级的任务调度系统，其架构通常遵循“分层解耦、职责单一”的设计原则。本章从宏观视角拆解调度系统的四大核心层次：调度器、执行器、存储层与监控层，并阐述它们之间的数据流与控制流交互机制。

2.1 四层架构职责划分

每一层在DAG任务的生命周期中承担着不可替代的角色。下表从核心职责、关键组件与典型技术选型三个维度进行对比：

2.2 核心交互流程

一个完整的DAG任务从提交到完成，经历以下标准交互流程：

1. DAG注册： 用户或CI/CD系统将DAG定义写入存储层（如数据库或文件系统）。
2. 调度解析： 调度器周期性扫描存储层，加载DAG定义，构建内存中的DAG图结构，执行拓扑排序，生成待执行任务列表。
3. 任务分发： 调度器将就绪任务（无上游依赖或上游已成功）写入任务队列（存储层中的消息队列或数据库表）。
4. 任务拉取与执行： 执行器从任务队列拉取任务，分配资源（线程/进程/容器），执行用户定义的算子逻辑。
5. 状态上报： 执行器将任务运行状态（running/success/failed）写回存储层，并触发回调通知调度器。
6. DAG推进： 调度器根据状态更新，判断下游任务是否满足触发条件，重复步骤3-5直至DAG终态。
7. 监控采集： 监控层从各层组件拉取指标（调度延迟、执行耗时、队列深度），并在异常时触发告警。

2.3 架构交互总览图

下图以SVG形式呈现四层架构之间的数据流与控制流关系，重点展示调度器与执行器通过存储层进行异步通信的模式：

2.4 调度器与执行器的异步解耦模式

调度器与执行器之间不直接通信，而是通过存储层中的任务队列与状态表实现异步解耦。这种模式带来以下优势：

• 水平扩展： 调度器与执行器可以独立扩缩容，互不阻塞。
• 故障隔离： 执行器崩溃不会导致调度器状态丢失；调度器重启后可从存储层恢复DAG进度。
• 背压处理： 当执行器处理能力不足时，任务在队列中积压，调度器可感知队列深度并动态调整分发速率。

2.5 监控层的全链路观测

监控层并非独立于数据流之外，而是以旁路采集的方式嵌入各层。其核心观测指标如下：

监控层通过拉取模式（如Prometheus Pull）或推送模式（如StatsD）采集上述指标，并在Grafana中聚合展示。当指标超过阈值时，告警管理器通过Webhook或邮件通知运维人员。

2.6 分层架构的边界原则

在设计与演进过程中，需严格遵守以下边界原则，防止架构腐化：

• 存储层无业务逻辑： 存储层只提供数据的读写与持久化能力，不包含任何调度或执行逻辑。
• 调度器无执行能力： 调度器不直接运行用户代码，仅负责状态判断与任务分发。
• 执行器无调度决策： 执行器不决定任务依赖顺序，只执行收到的任务并上报结果。
• 监控层无副作用： 监控层只读不写，不修改任何任务状态或元数据。