VIP20

本课程属于：089-Databricks AI与机器学习平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Databricks AI批流数据管道与任务编排

共计 30 章节

可可资料掘金营 · 点击在线试看

课程导入与全景认知

目标=Databricks AI批流… · 核心概念 · 技术栈全景与典型应用场景

课程导入全景认知

Databricks工作区与计算资源准备

目标=工作区导航 · 集群类型选择 · DBU成本模型

Databricks工作区

Delta Lake存储层核心机制

目标=ACID事务 · Schema演进 · 时间旅行

批处理数据摄取实战

目标=从云存储 · JDBC · Delta Sharing批量加载数…

批处理数据摄取实…目标=从云存储

流式数据摄取实战

目标=Structured Stre… · Event Hubs · Kinesis

流式数据摄取实战Structured

Medallion架构设计

目标=Bronze/Silver/G… · 数据质量校验 · 清洗与聚合逻辑在AI特征工程中的落地

Medallion架构设计

Lakeflow Declarative Pipelines入门

目标=使用SQL与Python声明式… · 理解流式表 · 物化视图与期望约束

LakeflowDeclarative

Lakeflow Declarative Pipelines进阶

目标=管道依赖管理 · 增量刷新 · CDC处理与SCD Type 2在A…

LakeflowDeclarative

AI特征工程管道构建

目标=使用Feature Engin… · 更新与版本化特征表 · 打通离线训练与在线推理

AI特征工程管道构建

特征存储与在线服务

目标=Feature Serving… · 低延迟特征检索 · 与模型推理服务的集成模式

特征存储线服务

Databricks Jobs任务编排基础

目标=创建多任务Job · 任务依赖DAG · 参数传递

Jobs高级编排模式

目标=条件任务 · For Each循环 · 动态值引用

Jobs高级编排模式

工作流触发器与调度

目标=基于时间 · 文件到达 · Delta表更新与外部事件的触发策略

工作流触发器调度

Lakeflow Jobs与CI/CD集成

目标=使用Databricks As… · Git集成 · 环境晋级与自动化部署管道

MLflow实验跟踪与模型注册

目标=在批流管道中记录实验 · 注册模型 · 管理模型版本与阶段转换

MLflow实验跟踪

模型训练管道编排

目标=使用Jobs编排特征拉取 · 分布式训练 · 超参搜索与模型评估的端到端流程

模型训练管道编排Jobs

模型推理批处理管道

目标=使用Spark UDF · Pandas UDF与MLflow模…

模型推理批处理管…Spark

模型推理流式管道

目标=Structured Stre… · foreachBatch推理与在线特…

模型推理流式管道Structured

LLM与RAG管道编排

目标=使用Databricks Fo… · Vector Search与Lang…

向量索引与嵌入管道

目标=生成嵌入 · 同步Delta表到Vector Se… · 增量更新与查询服务编排

向量索引嵌入管道

数据质量与可观测性

目标=Lakeflow期望 · 数据质量监控 · 事件日志

数据质量可观测性

性能调优与成本优化

目标=分区策略 · 文件大小管理 · Photon引擎

性能调优成本优化

安全与治理

目标=Unity Catalog权限… · 行级与列级安全 · 数据血缘

流式管道容错与状态管理

目标=检查点恢复 · 水印处理 · 状态存储优化与故障注入测试

流式管道容错状态管理

批流一体Lambda与Kappa架构对比

目标=在Databricks上实现统… · 权衡延迟与成本 · 选择合适模式

实时AI服务管道

目标=从流式数据到在线推理再到结果写…

多任务依赖与跨工作区编排

目标=使用Jobs API · Webhook与外部编排工具集成复杂…

多任务依赖跨工作区编排

端到端实战

目标=构建电商实时推荐AI管道 · 涵盖流式摄取 · 特征计算

端到端实战AI

端到端实战

目标=构建金融风控批流混合管道 · 涵盖CDC · 特征回填

端到端实战目标=构建金融风…

课程总结与前沿展望

目标=核心知识点回顾 · Lakehouse AI趋势 · Lakeflow与Agent编排的未…

课程总结前沿展望