VIP20

本课程属于：001-批处理数据仓库架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

ETL与ELT数据管道架构选型及迁移

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据工程概述

数据仓库基础概念、ETL与ELT的定义、为什么需要数据集成。

ETL架构深度解析

ETL处理流程（Extract、Transform、Load）、ETL典型工具（Informatica、DataStage）、ETL适用场景。

ELT架构深度解析

ELT处理流程（Extract、Load、Transform）、ELT典型工具（dbt、Snowflake、BigQuery）、ELT适用场景。

ETL vs ELT 核心对比

处理顺序差异、性能与扩展性、数据治理与合规、成本模型对比。

实战案例：从ETL迁移到ELT

某电商平台数据管道重构实录，迁移策略与效果分析。

ETL架构实战

使用Apache NiFi + Python实现传统ETL管道，端到端数据流构建。

ELT架构实战

使用dbt + Snowflake实现现代ELT管道，数据转换与建模。

数据质量与监控

ETL/ELT中的数据校验、异常处理、监控告警体系构建。

选型决策指南

如何根据业务场景选择ETL或ELT，评估框架与关键因素。

Data Mesh、Data Fabric对ETL/ELT的影响与演进方向。

数据源连接

结构化数据源（RDBMS）、半结构化数据源（API、日志）、非结构化数据源。

数据源连接

数据抽取策略

全量抽取、增量抽取、CDC（变更数据捕获）技术详解。

数据清洗与转换

数据标准化、去重、类型转换、业务规则应用。

数据加载策略

全量加载、增量加载、SCD（缓慢变化维度）处理。

ETL性能优化

并行处理、分区策略、内存管理、索引优化。

ELT性能优化

计算下推、物化视图、查询优化、存储分层。

数据湖与数据仓库

数据湖架构（S3/ADLS）、数据仓库架构（Snowflake/Redshift）、湖仓一体。

数据湖仓库

实时数据处理

流式ETL/ELT（Kafka、Flink、Spark Streaming）实践。

数据安全与权限

数据脱敏、行级安全、列级安全、审计日志。

元数据管理

数据目录、数据血缘、数据字典、影响分析。

元数据血缘

CI/CD for Data Pipeline

数据管道版本控制、自动化测试、部署策略。

ETL/ELT中的计算成本、存储成本、传输成本优化。

ETL + ELT混合模式、Lambda架构、Kappa架构。

数据治理框架

数据质量维度、数据标准、数据生命周期管理。

云原生ETL/ELT

AWS Glue、Azure Data Factory、Google Cloud Dataflow。

云原生托管

开源工具生态

Airbyte、Meltano、Apache Hop、Prefect。

数据管道监控

日志聚合、指标采集、告警规则、SLA管理。

灾难恢复与高可用

数据备份、异地容灾、故障切换策略。

容灾高可用

金融行业ETL/ELT实践、医疗行业数据集成方案。

课程总结与最佳实践

架构选型清单、常见陷阱、学习路径推荐。

总结最佳实践