1. 课程导论：DAG调度核心概念、边界定义、课程目标与学习路径
1.1 什么是DAG调度？
在分布式系统与大数据处理领域，DAG（有向无环图） 是描述任务依赖关系最自然、最严谨的数学模型。一个DAG由 顶点（Vertex） 和 有向边（Directed Edge） 组成，且图中不存在任何环路。任务调度DAG将每个计算单元抽象为顶点，将数据依赖或控制依赖抽象为有向边，从而形成一张可执行的任务拓扑图。
核心特征： 无环保证拓扑排序存在，有向边定义执行顺序，顶点封装计算逻辑与资源需求。
典型的DAG调度场景包括：
- 大数据ETL流水线： 数据抽取、清洗、转换、加载各阶段构成DAG节点，上下游通过数据分区传递依赖。
- 机器学习训练管道： 数据预处理、特征工程、模型训练、评估、部署形成多分支DAG。
- CI/CD持续交付： 代码检查、单元测试、集成测试、构建、部署等步骤按依赖关系编排。
- 微服务编排： 服务调用链、补偿事务、Saga模式中的步骤依赖。
1.2 DAG调度边界定义
本课程聚焦于 “DAG调度边界” 这一核心概念。所谓边界，是指DAG调度系统在架构设计、任务编排、资源管理、容错恢复、性能优化等方面必须明确划分的职责范围与交互接口。理解边界是设计可扩展、高可用调度系统的前提。
| 边界维度 | 定义 | 典型问题 |
|---|---|---|
| 拓扑边界 | DAG结构如何定义、校验、存储与版本管理 | 循环依赖检测、图结构序列化、增量更新 |
| 执行边界 | 任务调度引擎与任务执行器之间的职责划分 | 调度策略、资源分配、任务状态同步 |
| 数据边界 | 任务间数据传递的契约与存储策略 | 数据血缘、中间结果管理、Shuffle优化 |
| 容错边界 | 故障检测、重试、回滚、补偿的触发条件与范围 | 部分失败处理、幂等性保证、状态恢复 |
| 观测边界 | 调度系统对外暴露的可观测性数据与接口 | 链路追踪、指标采集、日志聚合 |
设计原则： 清晰的边界定义能够降低系统耦合度，使调度引擎、执行器、存储层、监控系统各自独立演进。本课程后续章节将逐一深入每个边界的设计模式与最佳实践。
1.3 课程目标
完成本课程后，你将能够：
- 深入理解DAG调度核心原理： 掌握拓扑排序、依赖解析、并行度控制、背压机制等基础理论。
- 识别并设计调度边界： 针对不同业务场景，合理划分拓扑、执行、数据、容错、观测五大边界。
- 应用经典设计模式： 学习并实践观察者模式、策略模式、责任链模式、状态机模式等在DAG调度中的具体应用。
- 构建高可用调度系统： 掌握分布式锁、Leader选举、故障转移、幂等重试等工程化方案。
- 优化调度性能： 理解任务剪枝、资源预分配、数据本地性调度、动态优先级等优化技术。
1.4 学习路径与章节规划
本课程共30章，按知识递进关系分为五个阶段：
| 阶段 | 章节范围 | 核心主题 | 学习重点 |
|---|---|---|---|
| 基础篇 | 第1-6章 | DAG模型、调度原理、边界定义 | 建立DAG调度知识体系，理解五大边界 |
| 设计篇 | 第7-14章 | 设计模式在调度中的应用 | 掌握观察者、策略、状态机等8种模式 |
| 工程篇 | 第15-22章 | 高可用、容错、资源管理 | 分布式协调、故障恢复、资源调度 |
| 优化篇 | 第23-27章 | 性能优化、数据局部性、动态调度 | 剪枝、预分配、背压、优先级调度 |
| 实战篇 | 第28-30章 | 系统设计、案例剖析、综合项目 | 从零构建轻量级DAG调度引擎 |
学习建议： 基础篇和设计篇是后续章节的基石，建议逐章阅读并动手实践代码示例。工程篇和优化篇可根据实际工作场景选择性深入。实战篇建议作为综合练习，独立完成后再对照课程方案进行复盘。
1.5 前置知识与工具准备
为获得最佳学习体验，建议你具备以下基础：
- 编程语言： 熟悉Java或Go语言，课程代码示例以Java为主，部分章节提供Go对照版本。
- 分布式基础： 了解分布式系统CAP理论、RPC通信、一致性协议等基本概念。
- 数据结构： 掌握图的基本表示（邻接表、邻接矩阵）、拓扑排序算法（Kahn算法、DFS）。
- 开发环境： JDK 11+、Maven/Gradle、Docker（用于本地搭建分布式测试环境）。
快速自检： 如果你能独立实现一个基于邻接表的拓扑排序，并能解释Kahn算法与DFS拓扑排序的差异，那么你已经具备了进入本课程的基础能力。