VIP20

本课程属于：085-Microsoft Azure数据与AI平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Azure批流数据管道与任务编排

共计 30 章节

可可资料掘金营 · 点击在线试看

课程导入与Azure数据管道全景

目标=批处理与流处理的差异 · 典型场景 · Azure数据平台核心服务概览与学习…

Azure课程导入

Azure存储与数据湖基础

目标=Blob Storage · ADLS Gen2的层级命名空间 · 数据分区策略

Azure Data Factory入门

目标=创建数据工厂 · 集成运行时 · 链接服务

Data Factory管道编排核心

目标=活动类型 · 依赖关系 · 控制流活动（ForEach

Data Factory触发器与调度

目标=按计划 · 翻转窗口 · 事件触发器的配置

Data Factory数据流

目标=映射数据流的可视化转换 · 源与接收器 · 分区优化

Azure Databricks批处理管道

目标=集群类型 · Notebook · 作业调度

AzureDatabricks

Azure Synapse Analytics批处理

目标=专用SQL池 · Spark池 · 管道与Data Factory的异同

Azure HDInsight批处理

目标=Hadoop · Hive · Spark集群的创建

Azure Batch服务

目标=大规模并行批处理作业 · 池与任务 · 自动缩放

Azure Event Hubs流处理基础

目标=事件中心命名空间 · 分区 · 消费者组

Azure Stream Analytics实时管道

目标=输入 · 查询 · 输出

Azure Databricks结构化流

目标=Spark Structure… · 检查点 · 水印

AzureDatabricks

Azure Functions与流处理

目标=事件驱动函数 · Event Hubs触发器 · 输出绑定

Azure Logic Apps与流编排

目标=连接器 · 触发器 · 工作流

Azure Service Bus与消息队列

目标=队列 · 主题 · 订阅

Azure Event Grid事件路由

目标=事件源 · 事件订阅 · 筛选

Data Factory与流处理集成

目标=使用Data Factory调… · 管理流管道 · 混合批流编排

批流统一编排模式

目标=Lambda架构与Kappa架… · 批流融合的管道设计

批流统一编排模式Lambda

数据管道中的转换与清洗

目标=使用Data Factory数… · Databricks Noteboo… · Synapse Spark进行数据质…

数据管道转换

管道中的依赖管理与错误处理

目标=活动重试 · 超时 · 失败分支

管道依赖管理

管道参数化与动态内容

目标=表达式 · 函数 · 系统变量

管道参数化动态内容

CI/CD与Git集成

目标=Data Factory的Gi… · ARM模板导出 · Azure DevOps发布管道

监控与运维

目标=Azure Monitor · Log Analytics · Data Factory监控视图

安全与合规

目标=托管标识 · Key Vault · 私有终结点

性能调优与成本优化

目标=Data Factory并行度 · Databricks集群配置 · Stream Analytics流单…

性能调优成本优化

目标=构建端到端批处理管道 · 使用Data Factory和Dat… · 加载到Synapse

目标=构建端到端…Data

目标=构建实时流处理管道 · Stream Analytics或D… · 输出到Power BI

目标=构建实时流…Stream

目标=混合批流管道与任务编排 · 实现Lambda架构

目标=混合批流管…任务编排

综合项目与最佳实践

目标=设计一个完整的Azure批流数… · 涵盖需求分析 · 架构设计

综合项目最佳实践