VIP20
本课程属于：005-数据流水线编排 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据流水线调度架构与故障预防

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
流水线基础概念
什么是数据流水线、ETL vs ELT、批处理与流处理，从源头理清核心术语与架构选择。
概念ETL/ELT批流一体
02
调度系统选型
Airflow vs Dagster vs Prefect，选型对比表，帮你找到最适合团队的调度引擎。
选型对比Airflow
03
DAG定义与依赖
如何定义有向无环图、任务依赖关系、上下游传递，构建清晰可靠的执行计划。
DAG依赖拓扑
04
调度周期与触发
Cron表达式、事件驱动、传感器(Sensor)模式，灵活控制流水线启动时机。
Cron事件驱动Sensor
05
任务重试与幂等性
重试策略、指数退避、幂等设计原则，确保失败任务安全重跑不产生脏数据。
重试幂等退避
06
资源管理与并发
任务并发控制、资源池、Slot机制，合理分配有限计算资源避免过载。
并发资源池Slot
07
数据血缘与回溯
数据血缘追踪、回溯执行、补数机制，让数据链路可查可逆可修复。
血缘回溯补数
08
监控与告警
任务状态监控、日志聚合、告警规则，第一时间发现并响应流水线异常。
监控告警日志
09
CI/CD for Pipeline
Pipeline as Code、版本控制、自动化测试，将软件工程实践引入数据流水线。
CI/CD版本控制自动化
10
参数化与动态DAG
动态生成任务、参数传递、配置中心，打造灵活可配置的通用流水线。
动态DAG参数化配置
11
数据质量检查
数据校验、异常检测、质量门禁，在流水线中嵌入自动化质量卡口。
质量校验门禁
12
任务优先级与抢占
优先级队列、资源抢占、死锁预防，保障关键任务获得计算资源。
优先级抢占死锁
13
分布式执行引擎
Celery、Kubernetes Executor、Local Executor，选对执行引擎支撑大规模调度。
分布式K8sCelery
14
外部系统集成
数据库、消息队列、云存储、API集成，打通数据流水线与上下游系统。
集成数据库消息队列
15
环境隔离与依赖管理
Python虚拟环境、Docker容器化、Conda，避免依赖冲突与环境不一致。
Docker虚拟环境Conda
16
日志与调试
日志级别、任务日志查看、远程调试，高效定位流水线运行时问题。
日志调试远程
17
性能优化
任务并行度、数据分区、缓存策略，压榨流水线吞吐降低延迟。
性能并行缓存
18
安全与权限
RBAC、密钥管理、网络隔离，为数据流水线构建企业级安全防线。
安全RBAC密钥
19
多租户与团队协作
命名空间、资源隔离、代码共享，支撑多团队高效协同开发流水线。
多租户隔离协作
20
数据湖与数据仓库集成
Delta Lake、Iceberg、Hudi集成，在湖仓一体架构下调度数据流水线。
数据湖IcebergDelta Lake
21
实时流处理
Kafka集成、Spark Streaming、Flink任务调度，构建低延迟实时流水线。
实时KafkaFlink
22
任务编排模式
扇入、扇出、条件分支、循环，掌握复杂业务场景下的DAG编排技巧。
编排扇入扇出分支
23
元数据管理
任务元数据、运行历史、统计信息，利用元数据驱动治理与优化。
元数据历史统计
24
成本控制
资源计费、任务优化、闲置资源回收，让流水线在预算内高效运行。
成本计费优化
25
灾难恢复与高可用
主备切换、任务迁移、数据备份，确保流水线在故障时快速恢复。
高可用灾备迁移
26
测试策略
单元测试、集成测试、端到端测试，建立流水线质量保障体系。
测试单元集成
27
版本迁移与升级
数据库迁移、代码升级、向后兼容，平滑演进流水线系统。
迁移升级兼容
28
大规模调度实践
万级任务调度、调度延迟优化，应对超大规模生产环境的挑战。
大规模延迟实践
29
避坑案例1
死锁、数据倾斜、任务雪崩，真实生产事故复盘与防范措施。
死锁数据倾斜雪崩
30
避坑案例2
时区问题、资源泄漏、依赖冲突，细数流水线中隐蔽的陷阱。
时区泄漏依赖冲突
专注课程资料整理