VIP20
本课程属于：089-Databricks AI与机器学习平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Databricks机器学习任务性能与成本优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
Databricks机器学习任务性能与成本优化导论
目标=课程目标 · 核心挑战 · 优化维度（计算
Databricks机器学习任务性能
02
Databricks机器学习工作负载剖析
目标=典型任务类型（特征工程 · 训练 · 调参
Databricks机器学习工作负载…
03
集群配置与成本优化基础
目标=集群类型（All-Purpos… · Job · SQL Warehouse）
集群配置成本优化基础
04
Databricks运行时与Spark配置调优
目标=Spark内存管理 · 序列化 · Shuffle分区
DatabricksSpark
05
数据存储与IO优化
目标=Delta Lake · Parquet · 缓存策略
IO数据存储
06
特征工程性能优化
目标=使用Spark SQL · Pandas UDF · Koalas/Pandas API…
特征工程性能优化Spark
07
分布式训练性能优化
目标=Horovod · TorchDistributor · Spark MLlib与单机训练的对…
分布式训练性能优…Horovod
08
超参数调优成本控制
目标=Hyperopt · Optuna · MLflow与并行调参策略
超参数调优成本控…Hyperopt
09
MLflow实验跟踪与成本归因
目标=记录运行指标 · 资源消耗 · 成本标签
MLflow实验跟踪
10
模型推理性能与成本优化
目标=批量推理 · 实时推理 · 模型服务（Model Serving…
模型推理性能成本优化
11
作业调度与编排优化
目标=Databricks Jobs · Workflows · 触发器
作业调度编排优化
12
自动伸缩与动态分配实战
目标=配置自动伸缩集群 · 优化伸缩策略 · 避免过度伸缩与资源碎片
自动伸缩动态分配实战
13
Spot实例与容错设计
目标=在ML任务中安全使用Spot实… · 检查点 · 重试与优雅降级策略
Spot实例
14
Delta Lake优化ML数据管道
目标=时间旅行 · 优化写入 · 合并小文件
DeltaLake
15
特征存储（Feature Store）性能与成本
目标=在线/离线特征表设计 · 物化策略 · TTL与刷新频率优化
FeatureStore
16
GPU资源优化
目标=GPU选型 · 多GPU训练 · GPU利用率监控
GPU资源优化
17
内存管理与溢出处理
目标=调整Executor内存 · 堆外内存 · 缓存与持久化级别
内存管理溢出处理
18
数据倾斜诊断与处理
目标=识别倾斜键 · 加盐 · 广播小表
数据倾斜诊断处理
19
Shuffle优化与分区策略
目标=减少Shuffle数据量 · 使用AQE · 合理设置分区数
Shuffle优化
20
缓存与持久化策略
目标=何时缓存 · 缓存级别选择 · 取消缓存时机
缓存持久化策略
21
代码级性能优化
目标=向量化UDF · 避免Python UDF · 使用内置函数
代码级性能优化UDF
22
监控与性能剖析工具
目标=Spark UI · Ganglia · Databricks指标
监控性能剖析工具
23
成本监控与预算告警
目标=使用Databricks账单 · 标签 · 预算策略
成本监控预算告警
24
自动扩缩容与工作负载隔离
目标=多任务共享集群 · 队列管理 · 资源池与优先级调度
自动扩缩容工作负载隔离
25
模型压缩与量化推理
目标=剪枝 · 量化 · 知识蒸馏
模型压缩量化推理
26
批处理与流式推理成本对比
目标=微批 · 连续处理 · 结构化流
批处理流式推理成本对比
27
端到端ML管道性能调优实战
目标=从数据摄入到模型部署 · 识别瓶颈并实施优化
ML端到端
28
成本优化案例研究
目标=真实场景（如推荐系统 · 图像分类）的优化前后对比与经验总结
成本优化案例研究目标=真实场景
29
性能与成本权衡决策框架
目标=建立指标（吞吐 · 延迟 · 成本）
性能成本权衡决策框架
30
持续优化与最佳实践
目标=建立监控文化 · 定期审查 · 自动化调优
持续优化最佳实践