3. 任务调度核心模型：任务节点、依赖关系、执行状态机、调度周期与触发机制
任务调度 DAG（有向无环图）的核心模型是构建分布式调度系统的基石。理解任务节点、依赖关系、执行状态机、调度周期与触发机制这四大要素，是设计高可靠、可扩展调度系统的前提。本节将逐一剖析这些核心概念，并给出对应的工程化设计建议。
3.1 任务节点（Task Node）
任务节点是 DAG 中的最小执行单元，代表一个可独立调度、执行和监控的业务逻辑片段。在微服务架构中，一个任务节点通常对应一个服务接口调用、一个函数计算或一个容器化作业。
| 属性 | 类型 | 说明 | 示例 |
|---|---|---|---|
| taskId | String | 全局唯一标识 | data_clean_20250301_001 |
| name | String | 可读名称 | 用户画像聚合 |
| type | Enum | 任务类型（HTTP/Shell/Spark/Function） | HTTP |
| endpoint | String | 执行目标地址或命令 | /api/v1/aggregate |
| timeout | Int | 超时时间（秒） | 300 |
| retryPolicy | Object | 重试策略（次数、间隔、退避） | {"maxRetries":3,"backoff":"exponential"} |
| inputParams | Map | 输入参数（支持上游输出引用） | {"date":"${dag.executionDate}"} |
设计要点：任务节点应保持无状态设计，所有上下文通过参数传递。节点定义中应包含明确的输入输出契约（Schema），便于上下游接口对齐和单元测试。
3.2 依赖关系（Dependency）
依赖关系定义了 DAG 中任务节点之间的执行顺序和数据流向。在分布式调度中，依赖关系分为两种核心类型：
- 硬依赖（Hard Dependency）：上游任务必须成功完成，下游任务才能启动。若上游失败，下游自动进入等待或跳过状态。
- 软依赖（Soft Dependency）：上游任务的结果作为下游的输入参考，但下游可以在上游失败时使用默认值或降级策略继续执行。
依赖关系的表达通常采用 边（Edge） 结构：
{
"from": "task_data_extract",
"to": "task_data_transform",
"type": "hard",
"dataMapping": {
"output.filePath": "input.sourcePath"
}
}
工程建议：在微服务边界划分时，依赖关系应尽量控制在同一个领域服务内部。跨服务的依赖应通过事件驱动或异步消息解耦，避免形成紧耦合的调用链。
3.3 执行状态机（Execution State Machine）
每个任务节点在生命周期中会经历多个状态。标准的状态机设计是保证调度可靠性的核心。以下为推荐的状态流转模型：
状态一致性：在分布式环境下，任务状态变更必须通过持久化存储（如数据库或分布式日志）保证原子性。避免因节点宕机导致状态丢失或重复执行。推荐使用乐观锁或版本号机制控制状态并发更新。
3.4 调度周期与触发机制
调度周期定义了 DAG 何时被触发执行。在微服务调度场景中，触发机制通常分为以下三类：
| 触发类型 | 描述 | 适用场景 | 示例 |
|---|---|---|---|
| 定时触发 | 基于 Cron 表达式或固定间隔 | 周期性数据报表、离线批处理 | 0 0 2 * * ?（每天凌晨2点） |
| 事件触发 | 监听消息队列、文件到达、API 回调 | 实时数据管道、异步任务编排 | Kafka 消息到达 → 启动 DAG |
| 手动触发 | 运维人员通过控制台或 API 手动执行 | 故障恢复、临时数据补录 | 补跑某一天的历史数据 |
调度周期的设计需要考虑以下关键参数：
- 调度频率：分钟级、小时级、天级、周级。频率越高，对调度引擎的吞吐能力要求越高。
- 执行窗口：允许任务执行的时间范围，避免在业务高峰期占用资源。
- 超时控制：整个 DAG 或单个节点的最大执行时间，防止任务死锁或资源泄漏。
- 并发限制：同一时间允许执行的最大 DAG 实例数，保护下游服务不被突发流量打垮。
最佳实践：对于定时触发，建议在调度引擎层统一管理 Cron 表达式，并提供“跳过非工作日”、“指定时区”等高级功能。对于事件触发，应设计幂等性消费逻辑，防止重复触发导致数据不一致。
3.5 核心模型之间的协作关系
任务节点、依赖关系、状态机、调度周期四者并非孤立存在，它们共同构成了 DAG 调度系统的运行时视图：
- 调度周期 决定何时创建 DAG 实例。
- 依赖关系 决定实例中任务节点的启动顺序。
- 状态机 驱动每个节点在生命周期中的状态流转。
- 任务节点 承载具体的业务逻辑执行。
在微服务架构中，每个任务节点可以独立部署为一个小型服务，通过统一的调度 SDK 与调度引擎通信。这种设计使得任务节点的开发、测试、扩缩容都可以独立进行，符合微服务“高内聚、低耦合”的原则。