VIP20

本课程属于：085-Microsoft Azure数据与AI平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Azure企业数据湖与分析平台建设

共计 30 章节

可可资料掘金营 · 点击在线试看

企业数据湖与分析平台蓝图

目标=理解Azure数据湖分析平台的… · 核心服务选型与建设路线图

企业数据湖分析平台蓝图

Azure Data Lake Storage Gen2基础

目标=掌握分层命名空间 · Blob存储与ADLS Gen2的关… · 创建存储账户与容器

数据湖目录结构与分区设计

目标=设计企业级目录规范 · 分区策略 · 文件格式选择与生命周期管理

数据湖目录结构分区设计

数据摄取模式概览

目标=批处理 · 流处理 · 微批处理的适用场景与Azure对应服…

数据摄取模式概览目标=批处理

使用Azure Data Factory进行批量数据摄取

目标=创建管道 · 数据集 · 链接服务

Data Factory数据流与转换

目标=使用映射数据流进行无代码数据清… · 派生列 · 聚合与接收器配置

事件驱动摄取与Azure Event Hubs

目标=配置Event Hubs · 捕获数据到ADLS Gen2 · 处理实时事件流

Azure Stream Analytics实时分析

目标=编写流式SQL查询 · 窗口函数 · 输出到数据湖与Power BI

Azure Databricks入门

目标=创建集群 · 笔记本 · 挂载ADLS Gen2

AzureDatabricks

使用Databricks进行数据清洗与转换

目标=DataFrame API · Spark SQL · 处理缺失值

Databricks使用

Delta Lake表格式

目标=创建Delta表 · ACID事务 · 时间旅行

Azure Synapse Analytics工作区

目标=创建Synapse工作区 · 连接ADLS Gen2 · 使用无服务器SQL池查询数据湖

Synapse专用SQL池与数据仓库

目标=设计分布表 · 分区 · 加载数据

Synapse Spark池与数据工程

目标=使用Spark池进行数据准备 · 特征工程与机器学习

数据湖中的安全与访问控制

目标=配置RBAC · ACL · 托管标识

数据湖安全

数据治理与Azure Purview

目标=注册数据源 · 扫描数据湖 · 构建数据目录

数据质量与验证

目标=使用Data Factory · Databricks和Synapse…

数据质量验证

编排与调度

目标=使用Data Factory · Synapse管道和Databric…

监控与告警

目标=配置Azure Monitor · Log Analytics · Databricks指标与告警规则

成本优化与管理

目标=分析存储 · 计算与数据移动成本 · 实施生命周期策略与自动缩放

成本优化管理

Power BI与数据湖集成

目标=连接ADLS Gen2 · Synapse与Databricks · 创建企业级报表

机器学习与数据湖

目标=使用Azure Machine… · 训练模型与部署

机器学习数据湖

构建端到端批处理管道

目标=从本地数据源到数据湖 · 转换 · 仓库与报表的完整实战

构建端到端批处理…目标=从本地数据…

构建端到端实时管道

目标=从Event Hubs到Str… · ADLS Gen2与Power BI…

构建端到端实时管…Event

数据湖中的文件格式与压缩

目标=Parquet · ORC · Avro

数据湖文件格式

分区与性能优化

目标=分区裁剪 · 文件大小优化 · Z-Order与数据跳过

分区性能优化

CI/CD与DevOps for Azure数据平台

目标=使用Azure DevOps · Git · ARM模板部署数据管道

灾难恢复与高可用性

目标=配置数据湖 · Synapse与Databricks… · 复制与故障转移

灾难恢复高可用性

企业级数据湖架构案例

目标=分析真实企业场景 · 设计可扩展 · 安全

企业级数据湖架构…目标=分析真实企…

目标=从需求到部署 · 构建一个完整的Azure企业数据湖与…

综合项目目标=从需求到部…