VIP20
本课程属于：005-数据流水线编排 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

DAG任务依赖建模与并行调度应用

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第01章
什么是DAG
DAG的定义、数学背景，与有向图、无向图的区别，奠定基础概念。
定义数学图论
第02章
DAG的核心要素
节点与边、入度出度、拓扑排序的直觉，掌握DAG的骨架。
节点入度拓扑
第03章
为什么需要DAG
任务编排痛点、依赖本质与工程价值，理解DAG的不可替代性。
编排依赖工程
第04章
DAG的表示方法
邻接矩阵、邻接表、边列表，不同存储结构的优劣与选型。
邻接矩阵邻接表存储
第05章
DAG的构建
手动构建简单DAG，并用Python建模，从理论到实践。
构建Python建模
第06章
拓扑排序（上）
Kahn算法原理、实现与复杂度分析，经典入度法。
Kahn入度算法
第07章
拓扑排序（下）
DFS后序遍历实现拓扑排序，与Kahn对比及环检测。
DFS后序环检测
第08章
DAG的遍历
深度优先与广度优先遍历，以及遍历在工程中的应用场景。
DFSBFS遍历
第09章
DAG的路径问题
单源最短路径、关键路径、最长路径，调度与优化基石。
最短路径关键路径CPM
第10章
DAG的存储与序列化
JSON、YAML表示及数据库存储方案，持久化DAG。
JSONYAML存储
第11章
DAG在数据管道中的应用
Airflow简介、DAG定义任务流、任务依赖与触发机制。
Airflow数据管道调度
第12章
DAG在构建系统中的应用
Makefile依赖、Bazel/Buck构建、增量编译原理。
MakefileBazel增量编译
第13章
DAG在版本控制中的应用
Git的DAG模型、提交历史与分支、合并冲突解决。
Git分支合并
第14章
DAG在区块链中的应用
链式结构、DAG区块链、IOTA的Tangle技术。
区块链IOTATangle
第15章
DAG在机器学习中的应用
计算图（TensorFlow/PyTorch）、自动微分、训练流程。
计算图自动微分ML
第16章
DAG的并行执行
任务并行化原理、依赖层级与并行度、资源调度策略。
并行调度资源
第17章
DAG的容错与重试
失败任务处理、重试策略、幂等性设计，保障可靠性。
容错重试幂等
第18章
DAG的监控与可视化
状态追踪、Graphviz/D3.js可视化、日志与告警。
监控GraphvizD3.js
第19章
DAG的优化
减少依赖层级、合并小任务、缓存中间结果提升效率。
优化缓存层级
第20章
DAG的测试
单元测试DAG、模拟依赖、集成测试策略。
测试模拟集成
第21章
DAG在微服务编排中的应用
服务依赖图、调用链、分布式追踪。
微服务调用链追踪
第22章
DAG在CI/CD中的应用
流水线设计、阶段依赖、自动化部署。
CI/CD流水线部署
第23章
DAG在科学计算中的应用
工作流系统Nextflow、计算任务编排。
Nextflow科学计算工作流
第24章
DAG在游戏开发中的应用
技能树系统、任务依赖、成就系统设计。
技能树成就游戏
第25章
DAG在项目管理中的应用
甘特图与DAG、任务依赖管理、关键路径法CPM。
甘特图CPM项目
第26章
实战项目（一）
设计一个简单的任务调度器，从零搭建核心。
项目调度器实战
第27章
实战项目（二）
实现拓扑排序与并行执行，提升调度效率。
拓扑排序并行实现
第28章
实战项目（三）
添加容错与重试机制，健壮性升级。
容错重试健壮
第29章
实战项目（四）
可视化DAG执行状态，实时监控任务流。
可视化状态监控
第30章
总结与展望
DAG的局限性、未来趋势、学习路径建议。
总结趋势路径