1. 课程导论：DAG任务调度背景、服务边界概念、数据传输机制的重要性
在分布式计算与微服务架构深度融合的今天，任务调度早已不再是简单的“谁先谁后”问题。当任务之间存在复杂的依赖关系，且每个任务运行在独立的服务实例上时，服务边界与数据传输便成为决定系统吞吐量与延迟的核心瓶颈。本章作为课程导论，将首先厘清DAG任务调度的基本背景，定义服务边界的概念，并揭示数据传输机制在整个调度体系中的关键地位。
1.1 DAG任务调度背景
有向无环图（Directed Acyclic Graph, DAG）是描述任务依赖关系的标准数学模型。在分布式系统中，一个复杂的业务请求往往被拆解为多个具有先后或并行关系的子任务，这些子任务及其依赖关系构成一张DAG。每个节点代表一个计算任务，每条有向边代表数据或控制依赖。
典型应用场景： 机器学习训练流水线、ETL数据清洗、微服务编排、科学工作流、视频转码处理。
DAG调度面临的核心挑战包括：
- 依赖解析： 确保父任务完成后才启动子任务。
- 资源竞争： 多个任务争抢有限的CPU、内存、网络带宽。
- 数据局部性： 任务调度应尽可能靠近其输入数据所在的节点。
- 故障恢复： 部分任务失败后，如何最小化重算范围。
下表对比了传统批处理调度与DAG感知调度的关键差异：
| 维度 | 传统批处理调度 | DAG感知调度 |
|---|---|---|
| 依赖关系 | 无或线性 | 多对多、有向无环 |
| 数据传输 | 通常通过共享存储 | 服务间直接传递或中间缓存 |
| 调度粒度 | 作业级 | 任务级（可细粒度并行） |
| 容错策略 | 整体重试 | 部分重算 + 血缘追踪 |
1.2 服务边界概念
在微服务或Serverless架构中，服务边界是指一个独立部署、独立运行、拥有自己数据存储与计算资源的服务单元所划定的逻辑与物理界限。每个DAG任务节点通常运行在一个特定的服务边界内。
服务边界对DAG调度的影响体现在三个层面：
- 数据隔离： 服务A不能直接读取服务B的内存或本地磁盘，必须通过网络协议（如gRPC、HTTP）或中间件（如消息队列、对象存储）交换数据。
- 资源配额： 每个服务边界拥有独立的资源配额（CPU、内存、并发连接数），调度器必须考虑跨边界的资源协商。
- 故障域： 一个服务边界的崩溃不应扩散到其他边界，数据传输机制需要具备超时、重试、熔断等自我保护能力。
关键认知： 服务边界是分布式系统“解耦”的代价——它带来了独立演进与弹性伸缩的好处，但也强制要求数据传输必须显式设计，而非依赖共享内存或本地文件系统。
1.3 数据传输机制的重要性
在服务边界明确的DAG调度中，数据传输机制决定了任务间数据交换的效率、可靠性与一致性。一个设计不良的数据传输机制可能导致：
- 网络拥塞： 大量中间结果在服务间反复拷贝，耗尽带宽。
- 数据倾斜： 某些服务边界成为热点，拖慢整个DAG完成时间。
- 状态不一致： 部分任务成功但数据传输失败，导致下游拿到脏数据。
常见误区： 很多团队在初期只关注任务调度算法（如关键路径、拓扑排序），却忽略了数据传输的代价。实际上，在微服务架构中，数据传输的延迟往往比计算本身高出1~2个数量级。
一个健壮的数据传输机制应满足以下要求：
| 要求 | 说明 | 典型实现 |
|---|---|---|
| 高吞吐 | 支持大体积中间结果的快速传输 | 分块传输、零拷贝、共享内存（同节点） |
| 低延迟 | 减少任务间等待时间 | 流水线传输、预取、长连接复用 |
| 可靠性 | 保证数据不丢、不重、不乱 | ACK确认、序列号、幂等性设计 |
| 背压感知 | 下游处理慢时能反向抑制上游发送速率 | 信用流控、滑动窗口 |
| 边界透明 | 调度器无需感知底层网络拓扑细节 | 虚拟数据通道、服务网格代理 |
1.4 本课程的研究视角
本课程将从服务边界这一独特视角出发，系统性地探讨DAG任务调度中的数据传输机制设计。我们将依次覆盖：
- 数据传输的序列化与编码优化
- 跨服务边界的流控与背压策略
- 基于数据局部性的调度协同
- 容错与一致性保证下的数据重传
- 实际案例：在Kubernetes + Istio环境下的DAG数据传输实践
通过本课程的学习，你将能够设计出既符合服务边界约束、又能最大化数据传输效率的DAG调度系统，为构建高性能、高可靠的分布式应用奠定坚实基础。