VIP20
本课程属于：088-Databricks Lakehouse数据平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Databricks批流数据管道与任务编排

共计 30 章节
可可资料掘金营 · 点击在线试看
01
Databricks数据智能平台全景
目标=Lakehouse架构 · Delta Lake · Unity Catalog
Databricks数据智能平台全景
02
批流管道设计原则
目标=数据分层 · 幂等性 · Exactly-Once语义
批流管道设计原则目标=数据分层
03
Delta Lake表作为管道基石
目标=ACID事务 · Time Travel · MERGE
DeltaLake
04
使用PySpark构建批处理管道
目标=DataFrame API · 分区写入 · 覆盖与追加模式
PySpark使用
05
使用Spark SQL与SQL Warehouse开发批处理任务
目标=临时视图 · CTAS · 增量物化视图与查询优化
SparkSQL
06
结构化流处理入门
目标=readStream/writ… · Trigger模式 · Checkpoint与输出模式选择
结构化流处理入门readStream/w…
07
流式数据源与目标
目标=Kafka · Event Hubs · Auto Loader
流式数据源目标
08
流式状态管理
目标=水印 · 窗口聚合 · 去重
流式状态管理目标=水印
09
Auto Loader实战
目标=云存储文件摄入 · Schema推断与演进 · 文件通知模式与目录列表模式
AutoLoader
10
Delta Live Tables核心概念
目标=流式表 · 物化视图 · 临时视图与管道声明式定义
DeltaLive
11
Delta Live Tables数据质量
目标=Expectations · 约束 · 丢弃与失败策略
DeltaLive
12
Delta Live Tables管道开发与运维
目标=开发模式 · 生产模式 · 事件日志与管道修复
DeltaLive
13
Databricks Workflows任务编排基础
目标=Job · Task · 依赖关系
DatabricksWorkflows
14
Workflows中的批处理任务编排
目标=Notebook · Python脚本 · SQL任务
Workflows批处理任务编排
15
Workflows中的流处理任务编排
目标=连续Job · 流式任务触发 · 自动重启与检查点管理
Workflows流处理任务编排
16
Workflows调度与触发
目标=Cron表达式 · 文件到达触发 · 表更新触发与手动触发
Workflows调度
17
Workflows参数化与动态任务
目标=任务值 · 动态引用 · For Each循环与条件任务
Workflows参数化
18
Workflows监控与告警
目标=任务运行历史 · 通知 · Webhook
Workflows监控
19
批流管道的错误处理与重试
目标=任务重试策略 · 超时 · 死信队列与幂等恢复
批流管道的错误处…重试
20
端到端批流管道实战
目标=从Kafka/Event Hu… · 经DLT清洗后写入聚合表
端到端批流管道实…Kafka/Event
21
增量处理模式
目标=CDC摄入 · APPLY CHANGES · SCD Type 1/2与流式MER…
增量处理模式CDC
22
性能调优
目标=分区策略 · Z-Order · 文件大小
性能调优目标=分区策略
23
成本与资源治理
目标=集群策略 · 自动伸缩 · Spot实例
成本资源治理
24
数据质量与可观测性
目标=数据剖析 · 异常检测 · 管道事件日志与自定义指标
数据质量可观测性
25
CI/CD与DevOps
目标=Databricks Asse… · Git集成 · 环境提升与自动化部署
CI/CDDevOps
26
安全与权限
目标=Unity Catalog权限… · 行级/列级安全 · 服务主体与凭据管理
安全权限
27
批流管道测试策略
目标=单元测试 · 集成测试 · 数据质量测试与管道回归测试
批流管道测试策略目标=单元测试
28
迁移与混合编排
目标=从Airflow/Azure… · 以及外部编排集成
迁移混合编排
29
综合项目
目标=构建实时销售分析管道 · 包含摄入 · 清洗
综合项目目标=构建实时销…
30
课程总结与进阶路线
目标=核心模式回顾 · 常见反模式 · 学习资源与认证路径
课程总结进阶路线