VIP20
本课程属于：088-Databricks Lakehouse数据平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Databricks实时数据分析平台设计与部署

共计 30 章节
可可资料掘金营 · 点击在线试看
01
实时数据分析平台需求分析与架构目标
目标=明确业务场景 · 延迟要求 · 吞吐量
实时数据分析平台…架构目标
02
Databricks Lakehouse实时能力全景
目标=理解Delta Lake · Structured Streami… · Photon
DatabricksLakehouse
03
实时数据接入层设计
目标=基于Auto Loader · Kafka · Kinesis
实时数据接入层设…Auto
04
Delta Lake实时表设计与优化
目标=分区策略 · Z-Order · 文件大小调优
DeltaLake
05
Structured Streaming核心编程模型
目标=流式DataFrame · 事件时间 · 水位线
StructuredStreaming
06
Exactly-Once语义与容错机制
目标=检查点 · 幂等写入 · 事务日志
Exactly-Once语义
07
实时ETL与流式转换实战
目标=使用Structured St… · 聚合 · 窗口计算
ETL实时
08
Delta Live Tables构建实时管道
目标=声明式管道 · 期望约束 · 流式表与物化视图
DeltaLive
09
实时数据质量与可观测性
目标=数据质量规则 · 异常检测 · 延迟监控
实时数据质量可观测性
10
Unity Catalog在实时平台中的治理
目标=数据权限 · 行列级安全 · 审计日志
UnityCatalog
11
实时查询服务层设计
目标=Databricks SQL… · Photon引擎 · 缓存策略
实时查询服务层设…Databricks
12
流式数据与机器学习集成
目标=Feature Store实时… · MLflow模型部署 · 在线推理与流式评分管道
流式数据机器学习集成
13
实时平台性能调优
目标=集群配置 · 自动伸缩 · Shuffle优化
实时平台性能调优目标=集群配置
14
成本优化与资源治理
目标=按需/竞价集群 · 自动终止 · 标签计费
成本优化资源治理
15
多环境部署与CI/CD
目标=开发/测试/生产环境隔离 · Databricks Asset B… · Terraform
CI/CD多环境部署
16
安全与合规设计
目标=网络隔离 · Private Link · 密钥管理
安全合规设计
17
高可用与灾备方案
目标=多可用区部署 · 跨区域复制 · 检查点备份
高可用灾备方案
18
实时平台监控与告警体系
目标=集成Prometheus · Grafana · Azure Monitor
实时平台监控告警体系
19
典型行业案例
目标=金融风控实时决策 · 特征计算 · 规则引擎到毫秒级响应
典型行业案例目标=金融风控实…
20
典型行业案例
目标=电商实时推荐与用户行为分析 · 会话窗口 · 实时画像更新与推荐服务
典型行业案例目标=电商实时推…
21
典型行业案例
目标=物联网设备实时监控 · 时序数据处理 · 异常检测与预测性维护
典型行业案例目标=物联网设备…
22
典型行业案例
目标=日志与安全事件实时分析 · 解析 · 关联分析与威胁告警
典型行业案例目标=日志
23
实时平台与数据湖仓一体化
目标=批流统一 · Delta Sharing · 外部表与联邦查询的协同设计
实时平台数据湖仓一体化
24
流处理高级模式
目标=复杂事件处理 · 模式匹配 · 自定义状态函数与异步I/O
流处理高级模式目标=复杂事件处…
25
实时数据服务API设计
目标=使用Databricks SQ… · JDBC/ODBC · REST API提供低延迟查询服务
API实时数据服务
26
平台容量规划与压力测试
目标=基于业务增长预测计算资源 · 存储与网络需求 · 执行负载测试与瓶颈分析
平台容量规划压力测试
27
运维自动化与Runbook
目标=日常巡检 · 故障排查 · 版本升级
Runbook运维自动化
28
实时平台项目实战
目标=从零搭建端到端实时分析平台 · 架构设计 · 部署实施与验收
实时平台项目实战目标=从零搭建端…
29
平台演进与新技术融合
目标=Lakehouse与LLM · 向量数据库 · 边缘计算结合的可能性与实施路径
平台演进新技术融合
30
课程总结与最佳实践
目标=回顾核心设计原则 · 常见陷阱 · 性能与成本平衡
课程总结最佳实践