VIP20
本课程属于：089-Databricks AI与机器学习平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Databricks大规模AI数据处理平台工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
Databricks平台架构总览
目标=Lakehouse架构 · 控制平面与数据平面 · 计算资源类型
Databricks平台架构总览
02
工作区与集群工程化配置
目标=工作区创建 · 集群策略 · 自动伸缩
工作区集群工程化配置
03
Delta Lake存储层工程
目标=ACID事务 · Schema演进 · 时间旅行
DeltaLake
04
数据摄取管道构建
目标=Auto Loader · COPY INTO · 流式与批量摄取
数据摄取管道构建Auto
05
Spark DataFrame与SQL数据处理
目标=DataFrame API · Spark SQL · 窗口函数
SparkDataFrame
06
Structured Streaming实时数据处理
目标=流式DataFrame · 事件时间与水印 · 状态管理
StructuredStreaming
07
Delta Live Tables声明式管道
目标=DLT概念 · 流式表与物化视图 · 期望与数据质量约束
DeltaLive
08
Unity Catalog数据治理与安全
目标=三级命名空间 · 权限模型 · 行级与列级安全
UnityCatalog
09
特征存储与特征工程平台
目标=Databricks Feat… · 特征表 · 在线与离线存储
特征存储特征工程平台
10
MLflow实验管理与模型注册
目标=实验跟踪 · 参数与指标记录 · Artifact管理
MLflow实验管理
11
分布式模型训练工程
目标=Horovod · TorchDistributor · Spark ML
分布式模型训练工…Horovod
12
超参数调优与AutoML
目标=Hyperopt · Optuna · MLflow集成
AutoML超参数调优
13
模型推理与批量评分
目标=MLflow模型部署 · 批量推理 · Spark UDF推理
模型推理批量评分
14
模型服务与在线推理
目标=Model Serving · REST API · 自动扩缩容
模型服务线推理
15
LLM与生成式AI数据处理
目标=大语言模型数据准备 · 指令微调数据集构建 · 文本分块与嵌入
LLMAI
16
向量搜索与RAG工程
目标=Databricks Vect… · 嵌入管道 · 向量索引
RAG向量搜索
17
LLM微调与部署
目标=LoRA · QLoRA · 全参数微调
LLM微调
18
Lakehouse AI函数与SQL AI
目标=AI Functions · SQL调用LLM · 批量推理
LakehouseAI
19
数据质量与可观测性
目标=数据质量框架 · 期望约束 · 异常检测
数据质量可观测性
20
工作流编排与调度
目标=Databricks Work… · 任务依赖 · 参数化
工作流编排调度
21
CI/CD与基础设施即代码
目标=Databricks Asse… · Terraform · GitHub Actions
CI/CD基础设施即代码
22
性能调优与成本治理
目标=Spark AQE · 分区策略 · 缓存
性能调优成本治理
23
安全与合规工程
目标=网络隔离 · Private Link · 加密
安全合规工程
24
多模态数据处理
目标=图像 · 音频 · 视频数据摄取
多模态数据处理目标=图像
25
图数据处理与图AI
目标=GraphFrames · 图构建 · 图算法
AI图数据处理
26
实时AI特征与在线推理管道
目标=流式特征计算 · 在线特征存储 · 特征新鲜度
AI实时
27
大规模数据迁移与互操作
目标=Delta Sharing · 外部表 · Hive Metastore迁移
大规模数据迁移互操作
28
AI平台可靠性工程
目标=容错设计 · 检查点 · 幂等写入
AI平台可靠性工程
29
行业案例
目标=电商推荐系统：数据摄取 · 特征工程 · 模型训练
行业案例目标=电商推荐系…
30
行业案例
目标=金融风控与反欺诈：实时事件流 · 特征计算 · 图特征
行业案例目标=金融风控