VIP20
本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

任务调度打通流批一体作业流系统设计与落地

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
流批一体概述
Lambda 与 Kappa 架构对比 · 流批一体核心思想 · 为什么需要统一调度
架构思想
02
任务调度基础
调度系统核心概念 (DAG/任务实例/工作流) · 调度策略：定时、依赖、事件触发
DAG策略
03
Apache Airflow 入门
Airflow 架构 · Scheduler/Executor/Worker · DAG 定义与部署
调度器DAG
04
Airflow 实战
编写第一个 DAG · 任务依赖 · 调度周期 · 变量与连接管理
实战依赖
05
流处理引擎 Flink
Flink 架构概览 · DataStream API · 状态管理与 Checkpoint
Flink状态
06
Flink 作业部署
Flink on YARN/K8s · 作业提交与监控 · Savepoint 与容错
部署容错
07
批处理引擎 Spark
Spark Core & SQL 回顾 · 批处理开发要点 · Spark on K8s 实践
Spark批处理
08
统一调度层设计
Airflow 编排 Flink/Spark · 混合工作流 · 资源池管理
编排资源池
09
流批一体数据管道
Kafka 统一数据源 · Flink 实时 ETL · Spark 批量回填 · 一致性保障
管道一致性
10
状态后端与元数据管理
Flink 状态后端 (RocksDB/HashMap) · 元数据存储选型 (MySQL/PostgreSQL)
状态后端元数据
11
作业依赖与触发机制
基于数据分区的依赖触发 · 事件时间/处理时间 · Watermark 在调度中的应用
Watermark触发
12
监控与告警
Prometheus+Grafana · 作业失败自动重试 · 告警通知 (钉钉/邮件)
监控告警
13
CI/CD for Data Pipeline
Git 管理 DAG · 自动化测试 (单元/集成) · 部署流水线设计
CI/CD测试
14
数据质量监控
Great Expectations 集成 · 数据校验规则 · 异常阻断与告警
质量校验
15
资源动态扩缩容
Executor 动态调整 · K8s HPA/VPA · 成本优化策略
弹性成本
16
多租户与权限管理
Airflow RBAC · 命名空间隔离 · 作业资源配额控制
多租户RBAC
17
日志与审计
集中式日志 (ELK) · 作业审计追踪 · 历史数据回溯分析
日志审计
18
高可用与容灾
Airflow HA · Flink JobManager HA · 跨集群灾备方案
HA灾备
19
性能调优
Airflow 延迟优化 · Flink 反压处理 · Spark Shuffle 调优 · 并行度策略
调优反压
20
实时数仓案例
Flink + Kafka + Hudi 实时数仓 · 调度作业流 · 数据一致性验证
实时数仓Hudi
21
离线数仓案例
Spark + Hive + Iceberg · 批量调度策略 · 分区发现与动态写入
离线数仓Iceberg
22
流批混合案例
实时指标 + 离线回填 · Lambda 调度实现 · 数据对账机制
混合对账
23
数据湖集成
Hudi/Iceberg/Delta Lake 对比 · 流批写入湖存储 · Compaction 管理
数据湖Compaction
24
调度系统扩展
自定义 Operator (Flink/Spark) · 插件化架构设计
扩展Operator
25
事件驱动调度
Kafka 事件动态触发 · Flink CEP 联动 · 实时决策工作流
事件驱动CEP
26
数据血缘与治理
Atlas/DataHub 集成 · 作业级血缘追踪 · 调度依赖可视化
血缘治理
27
成本管理
资源使用分析 · 空闲资源回收 · Spot 实例在批处理中的应用
成本Spot
28
安全合规
数据加密传输 · 代码安全扫描 · 敏感信息管理 (Secret Backend)
安全合规
29
未来趋势
流批一体调度平台演进 · Serverless 化 · AI 辅助调度优化
趋势Serverless
30
综合实战
端到端流批一体调度平台 · 需求分析到运维 · 最佳实践总结
实战全流程