VIP20
本课程属于：089-Databricks AI与机器学习平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Databricks特征工程与模型训练流水线开发

共计 30 章节
可可资料掘金营 · 点击在线试看
01
Databricks平台与流水线开发导论
目标=Databricks架构 · 工作区 · 集群类型
Databricks平台
02
数据接入与探索性分析
目标=从DBFS · Delta Lake · JDBC
数据接入探索性分析
03
Delta Lake表设计与特征存储基础
目标=Delta表创建 · 分区 · Z-Order
DeltaLake
04
特征工程核心流程与Spark DataFrame操作
目标=选择 · 过滤 · 派生列
SparkDataFrame
05
数值特征处理
目标=标准化 · 归一化 · 分箱
数值特征处理目标=标准化
06
类别特征编码
目标=StringIndexer · OneHotEncoder · Target Encoding
类别特征编码StringIndexe…
07
文本特征工程
目标=分词 · TF-IDF · Word2Vec
文本特征工程目标=分词
08
时间序列特征工程
目标=滞后特征 · 滚动窗口统计 · 时间差分
时间序列特征工程目标=滞后特征
09
特征选择与降维
目标=方差阈值 · 卡方检验 · 随机森林重要性
特征选择降维
10
特征存储与特征表管理
目标=使用Databricks Fe… · 更新 · 检索特征表
特征存储特征表管理
11
特征工程流水线编排
目标=使用Databricks Jo… · Delta Live Tables · Workflows调度特征计算任务
特征工程流水线编…Databricks
12
模型训练基础与Spark MLlib
目标=分类 · 回归 · 聚类算法
SparkMLlib
13
使用MLflow跟踪实验
目标=记录参数 · 指标 · 工件
MLflow使用
14
自动化超参数调优
目标=Hyperopt · Optuna与SparkTrials · 分布式搜索
自动化超参数调优Hyperopt
15
深度学习模型训练集成
目标=使用TorchDistribu… · Horovod · TensorFlow分布式训练
深度学习模型训练…TorchDistrib…
16
模型注册与版本管理
目标=MLflow Model Re… · 模型阶段转换（Staging/Pro… · 模型签名与输入示例
模型注册版本管理
17
批量推理流水线
目标=使用Spark UDF · MLflow pyfunc · Feature Store在线查找进…
批量推理流水线Spark
18
实时推理与在线特征服务
目标=Databricks Mode… · 在线特征表 · REST API端点
实时推理线特征服务
19
流水线监控与数据质量
目标=使用Lakehouse Mon… · Great Expectations · 自定义指标监控特征漂移
流水线监控数据质量
20
端到端案例
目标=客户流失预测流水线：从数据接入 · 特征工程 · 特征存储
端到端案例目标=客户流失预…
21
端到端案例
目标=推荐系统特征与模型流水线 · Embedding · 协同过滤模型训练
端到端案例目标=推荐系统特…
22
端到端案例
目标=实时欺诈检测流水线 · 在线特征存储 · 低延迟模型服务
端到端案例目标=实时欺诈检…
23
特征工程与模型训练的成本优化
目标=集群配置 · 自动缩放 · Spot实例
特征工程模型训练的成本优…
24
流水线性能调优
目标=数据倾斜处理 · 并行度调整 · 内存管理
流水线性能调优目标=数据倾斜处…
25
CI/CD与代码工程化
目标=使用Repos · Git · Databricks Asset B…
CI/CD代码工程化
26
安全与治理
目标=Unity Catalog权限 · 行级/列级安全 · 特征表访问控制
安全治理
27
可复现性与实验管理
目标=环境依赖固定 · 随机种子 · 数据版本
可复现性实验管理
28
流水线测试策略
目标=单元测试 · 集成测试 · 数据验证测试
流水线测试策略目标=单元测试
29
迁移与混合云部署
目标=从本地/其他云迁移流水线到Da… · 跨云一致性 · 与Azure Data Factor…
迁移混合云部署
30
综合项目
目标=设计并实现一个完整的Datab… · 架构设计 · 特征开发
综合项目Datab