VIP20

本课程属于：001-批处理数据仓库架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据仓库ELT管道设计与作业性能优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

ELT的定义、ELT与ETL的区别、ELT的适用场景与优势。

定义对比场景

数据源接入

结构化数据源（MySQL、PostgreSQL）、半结构化（JSON、XML）、非结构化（日志、图片）。

MySQLJSON日志

数据加载策略

全量加载、增量加载、CDC机制、批量加载与流式加载。

CDC增量流式

数据转换核心

数据清洗（去重、空值处理）、标准化、脱敏、聚合与计算。

清洗脱敏聚合

数据建模基础

星型模型、雪花模型、事实表与维度表设计、缓慢变化维（SCD）处理。

星型雪花SCD

ELT工具选型

Apache Spark、Flink、dbt、Airbyte、Fivetran、Snowflake。

SparkdbtSnowflake

ELT管道设计

管道架构设计原则、数据分区与分桶、并行处理与任务调度。

分区并行调度

数据质量保障

质量维度（完整性、准确性、一致性）、监控框架、异常检测与告警。

完整性监控告警

数据倾斜处理、内存管理、Shuffle优化、谓词下推与分区裁剪。

倾斜Shuffle谓词下推

ELT安全与治理

数据加密（静态/传输）、访问控制（RBAC/ABAC）、数据血缘、审计日志。

加密RBAC血缘

实时采集（Kafka、Debezium）、实时转换（Flink SQL）、实时写入（ClickHouse、Doris）。

KafkaFlinkClickHouse

AWS Glue、Azure Data Factory、Google Cloud Dataflow、Serverless架构。

AWSAzureServerless

ELT测试策略

单元测试、集成测试、端到端测试、数据回滚与补偿机制。

单元测试集成回滚

ELT监控与运维

管道健康检查、延迟监控、资源利用率监控、自动扩缩容。

健康检查延迟扩缩容

ELT成本优化

计算资源成本、存储成本、数据传输成本、按需与预留实例选择。

计算存储预留实例

数据湖与ELT

Lakehouse架构、Delta Lake/Iceberg/Hudi、ACID事务在ELT中的应用。

LakehouseDelta LakeACID

ELT与数据仓库

现代数仓（Snowflake、BigQuery、Redshift）、ELT与数仓集成最佳实践。

BigQueryRedshift集成

ELT与数据中台

数据中台概念、ELT在数据中台中的角色、数据服务化。

中台服务化角色

ELT与机器学习

特征工程管道、训练数据准备、模型推理数据流。

特征工程训练推理

Tableau、Power BI、Superset集成、数据刷新策略。

TableauPower BISuperset

ELT版本控制

管道代码版本管理（Git）、数据版本管理（dbt版本）、回滚策略。

ELT元数据管理

元数据采集、存储（Apache Atlas、Amundsen）、元数据驱动ELT。

AtlasAmundsen驱动

ELT错误处理

重试机制、死信队列、错误日志分析、人工干预流程。

重试死信干预

ELT数据合规

GDPR、CCPA、数据保留策略、数据删除与匿名化。

GDPRCCPA匿名化

ELT与数据网格

数据网格概念、数据产品化、领域驱动数据治理。

数据网格产品化领域驱动

CI/CD for Data、自动化测试、自动化部署、自动化回滚。

CI/CD自动化部署

ELT案例实战（电商）

订单数据ELT管道设计、用户行为分析管道、实时库存同步。

电商订单实时库存

ELT案例实战（金融）

交易数据ELT、风控特征计算、监管报表生成。

金融风控监管

ELT案例实战（物联网）

设备数据采集、时序数据转换、异常检测管道。

物联网时序异常检测

ELT未来趋势

AI驱动ELT、DataOps成熟度、ELT与边缘计算、数据编织。

AIDataOps边缘计算