VIP20
本课程属于：012-任务调度DAG边界 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

任务调度DAG边界：架构设计模式在数据传输中的应用

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
DAG基础概念
有向无环图的定义 · 拓扑排序原理 · DAG在任务调度中的核心价值
DAG基础概念
02
任务调度系统概述
批处理与流处理的区别 · 调度引擎的演进历史（Cron ->…
任务调度系统概述批处理
03
DAG边界定义
什么是DAG边界 · 边界在数据传输中的角色 · 边界与数据血缘的关系
DAG边界定义
04
架构设计模式总览
分层架构 · 管道-过滤器模式 · 事件驱动模式在DAG调度中的映射
架构设计模式总览分层架构
05
管道-过滤器模式
过滤器（Task）与管道（Data… · 数据流在DAG中的传递机制
管道过滤器模式
06
分层架构模式
Source层 · Transform层 · Sink层的职责划分
分层架构模式Source
07
事件驱动模式
基于事件触发的DAG节点 · 事件总线与消息队列在边界处的应用
事件驱动模式DAG
08
微批次架构模式
微批次窗口设计 · 边界处的数据缓冲与水位线（Water…
微批次架构模式微批次窗口设计
09
数据分区与分片策略
水平分区 · 垂直分区 · 一致性哈希在DAG边界上的数据路由
数据分区分片策略
10
数据序列化与反序列化
Avro · Protobuf · JSON Schema在边界处的Sc…
数据序列化反序列化
11
边界处的数据压缩
压缩算法选择（Snappy · Zstd · Gzip）
边界处的数据压缩Snappy
12
数据校验与质量门禁
边界处的Schema校验 · 空值检查 · 数据完整性断言
数据校验质量门禁
13
重试与容错机制
Task级别的重试策略 · 边界处的幂等性设计 · 死信队列（DLQ）处理
重试容错机制
14
背压（Backpressure）机制
背压的定义 · 在DAG边界处的传播方式 · 反压策略（Drop
Backpressure背压
15
数据血缘追踪
OpenLineage标准 · 在DAG边界处记录上下游依赖 · 血缘可视化
数据血缘追踪OpenLineage
16
状态管理
有状态与无状态Task的区别 · 边界处的状态存储（RocksDB · Redis）
状态管理Task
17
DAG调度中的锁与并发控制
乐观锁 · 悲观锁 · 分布式锁在边界资源竞争中的应用
DAG调度
18
数据倾斜处理
Key倾斜检测 · Salting技术 · 在边界处重新分区
数据倾斜处理Key
19
增量计算与全量计算
增量DAG的边界设计 · 全量快照与增量日志的合并策略
增量计算全量计算
20
数据湖与DAG集成
Delta Lake · Apache Iceberg在DAG…
DAG数据湖
21
流表对偶（Stream-Table Duality）
流与表的转换 · 在DAG边界处维护物化视图
Stream-TableDuality
22
跨集群数据传输
WAN场景下的DAG边界 · 带宽限制与数据压缩 · 断点续传
跨集群数据传输WAN
23
安全边界
数据加密（TLS/SSL） · 访问控制（RBAC/ABAC）在DA…
安全边界TLS/SSL
24
监控与可观测性
Metrics（吞吐量 · 延迟 · 错误率）
监控可观测性
25
测试策略
单元测试 · 集成测试 · 端到端测试在DAG边界处的模拟与断言
测试策略单元测试
26
版本控制与演进
DAG版本管理 · 向后兼容的Schema演进 · 边界处的数据迁移
版本控制演进
27
成本优化
计算资源与存储资源的权衡 · 在边界处使用Spot实例 · 数据生命周期管理
成本优化计算资源
28
实战案例一
基于Apache Airflow的E…
实战案例一Apache
29
实战案例二
基于Apache Flink的实时流…
实战案例二Apache
30
总结与最佳实践
DAG边界设计的黄金法则 · 常见反模式 · 未来趋势（Serverless DA…
最佳实践DAG