VIP20
本课程属于：088-Databricks Lakehouse数据平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Databricks批流一体数据处理工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
批流一体数据处理概览
目标=理解批处理与流处理的差异 · 融合价值 · Databricks Lakehou…
批流一体数据处理…目标=理解批处理
02
Databricks 工作区与计算资源
目标=创建和管理集群 · SQL 仓库 · 作业计算
Databricks工作区
03
Delta Lake 核心机制
目标=ACID 事务 · Schema 演进 · 时间旅行
DeltaLake
04
数据摄取基础
目标=从云存储 · 数据库 · 消息队列读取数据
数据摄取基础目标=从云存储
05
Auto Loader 深入
目标=目录监听 · 文件通知模式 · Schema 推断与演化
AutoLoader
06
流式数据源接入
目标=Kafka · Event Hubs · Kinesis 连接配置
流式数据源接入Kafka
07
Structured Streaming 编程模型
目标=DataFrame 流式 AP… · 输出模式 · 触发器
StructuredStreaming
08
流式聚合与状态管理
目标=窗口聚合 · 水印处理 · 任意状态操作
流式聚合状态管理
09
流-流 Join 与流-批 Join
目标=支持类型 · 水印约束 · 状态管理
Join目标=支持类型
10
批流统一读写 Delta 表
目标=流式写入 Delta · 批读取流结果 · 流式读取 Delta 变更数据
Delta批流统一读写
11
变更数据捕获（CDC）与 Delta Live Tables
目标=使用 APPLY CHANGE… · 从数据库 CDC 到 Lakehou…
CDCDelta
12
Delta Live Tables 管道开发
目标=声明式 ETL · 期望与数据质量 · 流式表与物化视图
DeltaLive
13
数据质量与治理
目标=Unity Catalog 权… · 数据血缘 · 期望约束
数据质量治理
14
批流一体编排与调度
目标=Databricks 作业 · 工作流 · 触发器
批流一体编排调度
15
性能调优基础
目标=分区策略 · 文件大小 · 广播 Join
性能调优基础目标=分区策略
16
流处理性能优化
目标=微批间隔 · 最大文件数 · 状态存储调优
流处理性能优化目标=微批间隔
17
端到端 Exactly-Once 语义
目标=幂等写入 · 事务性输出 · 检查点与 Delta 事务日志协同
Exactly-Once端到端
18
监控与可观测性
目标=流查询指标 · 事件日志 · Spark UI
监控可观测性
19
实战
目标=实时点击流分析管道 · 清洗 · 窗口聚合到 Delta 表
目标=实时点击流…清洗
20
实战
目标=CDC 同步数据库到 Lake…
CDCLake
21
实战
目标=IoT 设备数据批流一体处理 · 流式聚合 · 批处理回填与修正
IoT目标=
22
实战
目标=多源数据 Join 与富化 · 流-批 Join · 维表关联与缓存策略
Join目标=多源数据
23
实战
目标=数据回填与重处理 · 流式管道重置 · 检查点迁移与版本回滚
目标=数据回填重处理
24
成本与资源治理
目标=集群策略 · 自动终止 · Spot 实例
成本资源治理
25
安全与合规
目标=数据加密 · 网络隔离 · 行级/列级权限
安全合规
26
CI/CD 与 DevOps
目标=Databricks Asse… · Git 集成 · 环境提升
CI/CDDevOps
27
ML 与批流一体
目标=特征工程流式化 · 在线推理与批推理 · Feature Store 与模型监…
ML批流一体
28
高级流处理模式
目标=会话窗口 · 自定义状态操作 · 异步 I/O
高级流处理模式目标=会话窗口
29
跨工作区与多环境数据共享
目标=Delta Sharing · 外部表 · 联邦查询
跨工作区多环境数据共享
30
综合项目
目标=构建端到端批流一体 Lakeh… · 架构设计 · 实现
综合项目Lakeh