1. Azure数据工程全景与课程定位

Azure 数据平台并不是单一产品，而是一组围绕“数据采集—存储—计算—建模—分析—治理”分工协作的云服务集合。理解这些服务的边界，是后续所有建模与分析工程工作的前提。本课程面向已经具备一定 SQL 与数据处理基础、希望系统掌握 Azure 数据建模与分析工程实践的读者，目标不是罗列服务清单，而是建立“什么数据放在哪里、由谁处理、如何建模、如何交付分析价值”的完整判断能力。

一、Azure 数据平台的核心服务分层

从数据流向看，Azure 数据平台大致可分为五层。第一层是数据接入与集成，代表服务包括 Azure Data Factory 与 Azure Synapse Pipelines，负责把本地数据库、SaaS 应用、文件系统、消息流中的数据搬运到云端。第二层是数据存储，核心是 Azure Data Lake Storage Gen2（ADLS Gen2），它以分层命名空间支持大规模文件存储，是数据湖的事实标准；结构化业务数据则常落在 Azure SQL Database 或 Azure Database for PostgreSQL 中。第三层是计算与转换，包括 Azure Databricks、Synapse Spark 池、Synapse SQL 池，分别面向批处理、交互式分析与数据仓库负载。第四层是建模与分析，典型对象是 Synapse 专用 SQL 池中的星型模型、Azure Analysis Services 或 Power BI 语义模型。第五层是治理与安全，由 Microsoft Purview、Microsoft Entra ID、Azure Key Vault 共同承担数据目录、权限控制与密钥管理。

这五层并非必须全部使用。一个中小型项目可能只用 Data Factory + ADLS Gen2 + Databricks + Power BI；一个大型企业则可能叠加 Purview 做数据血缘、用专用 SQL 池承载核心报表。选择依据是数据量、延迟要求、并发查询数、团队技能与合规约束，而不是“服务越多越完整”。

二、数据建模与分析工程的角色边界

在 Azure 项目中，数据工程师与分析工程师的职责经常被混为一谈。数据工程师的核心交付物是“可信、可调度、可监控的数据管道与存储结构”：他们编写 Data Factory 管道、设计 ADLS Gen2 的目录分区（例如 /raw/sales/2024/06/15/）、用 Databricks Notebook 完成清洗与聚合、配置重试与告警。分析工程师的核心交付物是“业务可理解、查询高效、口径一致的模型与分析资产”：他们设计事实表与维度表、定义度量值、管理 Power BI 数据集中的关系与层次、优化 DAX 与查询性能。

两者的交界通常在“宽表或明细层”之后。数据工程师保证数据按时到达、字段完整、类型正确；分析工程师在此基础上决定如何组织维度、如何定义业务指标、如何让报表响应更快。实际项目中，一个人可能同时承担两种角色，但边界意识不能丢——否则容易出现“管道里写业务逻辑、模型里做数据清洗”的混乱。

三、典型企业数据工作流

以一个零售企业为例，典型工作流如下：每天凌晨 2 点，Data Factory 从门店 POS 系统抽取销售流水到 ADLS Gen2 的 raw 区；Databricks 读取 raw 数据，完成去重、币种统一、退货标记后写入 curated 区（Parquet 格式，按日期分区）；Synapse 专用 SQL 池通过外部表读取 curated 数据，加载到事实表 FactSales 与维度表 DimProduct、DimStore、DimDate；Power BI 通过 DirectQuery 或导入模式连接语义模型，生成日销售看板。整个链路中，数据工程师负责前四步的稳定运行，分析工程师负责模型设计、度量值定义与报表性能。

四、课程实战项目总览

本课程围绕一个贯穿始终的实战项目展开：为一家虚构的连锁零售企业构建 Azure 数据平台。项目数据源包括 POS 销售流水、商品主数据、门店信息、线上订单四类。你将依次完成：用 Data Factory 建立增量抽取管道；在 ADLS Gen2 中设计 raw / curated / serving 三层目录；用 Databricks 完成数据清洗与一致性校验；在 Synapse 中建立星型模型并编写聚合查询；最后用 Power BI 构建销售分析看板并优化刷新性能。

项目不会一次性给出所有答案。每一章会引入新的约束，例如“销售流水存在重复记录”“商品维度存在缓慢变化”“报表要求 5 秒内响应”。你需要根据当章知识判断：这个问题应该在哪一层解决、用什么服务、如何验证结果。课程结束时，你将拥有一套可复用的 Azure 数据建模与分析工程方法论，而不仅是一份操作记录。