VIP20

本课程属于：088-Databricks Lakehouse数据平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Databricks大规模任务性能优化与成本治理

共计 30 章节

可可资料掘金营 · 点击在线试看

课程导入与全景认知

目标=Databricks大规模任务… · 性能与成本的双重目标 · 课程整体学习路径与实战环境准备

课程导入全景认知

Databricks工作负载剖析

目标=Spark作业 · Delta Live Tables · SQL Warehouse

Databricks工作负载剖析

集群架构与选型策略

目标=All-Purpose与Job… · 单节点与多节点 · 自动伸缩

集群架构选型策略

Spark执行模型与任务调度

目标=DAG · Stage · Task

Spark执行模型

数据布局与文件组织优化

目标=分区策略 · 分桶 · 小文件合并

数据布局文件组织优化

Delta Lake表性能调优

目标=事务日志 · Checkpoint · Vacuum

Shuffle与Join性能优化

目标=广播Join · Sort-Merge Join · Shuffle Hash Join

缓存与持久化策略

目标=Cache · Persist · Checkpoint

缓存持久化策略

资源调优核心参数

目标=spark.executor.… · cores · 并行度

资源调优核心参数spark.execut…

SQL Warehouse性能优化

目标=Serverless与Pro… · 多集群负载均衡 · 查询队列

Photon引擎与向量化执行

目标=Photon适用场景 · 性能收益评估 · 与开源Spark的对比及迁移注意事项

Databricks Runtime版本选择

目标=LTS · ML · GPU Runtime的差异

DatabricksRuntime

作业监控与性能诊断

目标=Spark UI · Query Profile · Ganglia

作业监控性能诊断

成本治理框架与预算控制

目标=DBU计费模型 · 标签策略 · 预算告警

成本治理框架预算控制

集群策略与权限治理

目标=Cluster Policie… · Instance Pools · 池化复用

集群策略权限治理

作业编排与调度优化

目标=Databricks Jobs · Workflows · 多任务依赖

作业编排调度优化

Delta Live Tables性能与成本

目标=Pipeline模式 · Continuous与Trigger… · 增强自动伸缩与数据质量监控开销

大规模ETL任务优化实战

目标=从数据摄取 · 清洗 · 转换到写入的端到端性能瓶颈定位与调优…

流处理任务性能优化

目标=Structured Stre… · 微批间隔 · 状态存储

流处理任务性能优…Structured

机器学习工作负载优化

目标=特征工程 · 分布式训练 · Hyperopt

机器学习工作负载…目标=特征工程

数据倾斜与热点问题治理

目标=Salting · 自定义分区 · 倾斜Join

数据倾斜热点问题治理

内存与磁盘溢出调优

目标=序列化 · 压缩 · Off-Heap

内存磁盘溢出调优

网络与I/O瓶颈优化

目标=Shuffle Service · 远程存储访问 · Delta缓存命中率

自动化性能测试与基准

目标=TPC-DS/TPC-H · 自定义Benchmark · 回归测试

自动化性能测试基准

成本可观测性与FinOps实践

目标=账单分析 · 成本标签 · 异常检测

FinOps成本可观测性

Serverless与弹性计算成本优化

目标=Serverless SQL · Serverless Jobs · 自动伸缩边界与按需付费模型分析

Serverless弹性计算成本优化

多租户与工作空间治理

目标=Unity Catalog · 隔离策略 · 配额管理

多租户工作空间治理

大规模任务故障排查与恢复

目标=OOM · Executor丢失 · Shuffle失败

大规模任务故障排…恢复

目标=电商日志分析平台性能优化与成本… · 从集群选型到作业调优再到成本看板搭建

综合实战目标=电商日志分…

课程总结与持续优化体系

目标=性能优化 checklist · 成本治理成熟度模型 · 团队协作规范与未来演进方向

课程总结持续优化体系