VIP20
本课程属于：048-数据交换与API治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据湖仓一体与交换落地

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据湖仓一体概述
数据湖与数据仓库的区别、湖仓一体的定义与价值、Lambda架构与Kappa架构对比。
架构概念
02
核心技术选型
Apache Iceberg、Delta Lake、Apache Hudi三大开源表格式对比与选型策略。
表格式选型
03
元数据管理
Hive Metastore演进、统一元数据服务设计、数据血缘追踪。
元数据血缘
04
存储层设计
对象存储与HDFS的抉择、列式存储（Parquet/ORC）优化、数据压缩策略。
存储压缩
05
计算引擎集成
Spark SQL、Flink SQL、Presto/Trino在湖仓中的角色与配置。
计算引擎SQL
06
数据摄入与CDC
Kafka Connect、Debezium实时入湖、批量导入优化。
CDC入湖
07
数据交换基础
数据交换的定义、常见模式（ETL/ELT/Reverse ETL）、数据交换的挑战。
交换ETL
08
数据交换工具选型
Apache NiFi、Airbyte、Fivetran、自研交换引擎的优劣分析。
工具选型
09
数据交换协议
JDBC/ODBC、REST API、gRPC、消息队列在交换中的应用。
协议API
10
数据交换安全
数据脱敏、加密传输、访问控制（RBAC/ABAC）、审计日志。
安全合规
11
数据质量保障
数据质量六维度（完整性、一致性、准确性等）、Great Expectations实践。
质量测试
12
数据分区与分桶
时间分区、值分区、Z-order排序、分区裁剪优化。
分区性能
13
数据版本控制
Time Travel、Snapshot隔离、回滚与恢复机制。
版本回滚
14
增量计算与流批一体
Streaming Batch unification、Flink CDC + Iceberg实战。
流批一体Flink
15
数据服务化
构建统一数据服务层、API Gateway、数据缓存策略。
服务化API
16
数据治理框架
数据目录（Data Catalog）、数据标签、数据分级分类。
治理目录
17
数据交换监控
Prometheus + Grafana监控数据交换链路、告警规则设计。
监控告警
18
跨云数据交换
AWS S3 ↔ Azure Blob ↔ GCS的数据同步方案、云间网络成本优化。
跨云成本
19
数据交换性能调优
并行度设置、网络带宽优化、数据序列化优化。
调优性能
20
数据交换容错机制
断点续传、死信队列、重试策略与幂等性设计。
容错幂等
21
数据交换合规
GDPR、CCPA、数据本地化要求、数据交换审计。
合规隐私
22
数据湖仓自动化运维
自动化部署（Terraform/Ansible）、扩缩容策略、健康检查。
运维自动化
23
数据交换测试
单元测试、集成测试、性能测试、混沌工程在数据交换中的应用。
测试混沌
24
数据交换案例：实时风控
实时风控场景的数据交换架构设计。
案例风控
25
数据交换案例：离线→实时
离线数仓到实时数仓的迁移与交换。
案例迁移
26
数据交换案例：多源异构入湖
多源异构数据（日志、DB、API）统一入湖方案。
案例异构
27
数据交换案例：跨组织共享
跨组织数据共享与交换（数据沙箱）。
案例共享
28
数据交换成本控制
存储成本、计算成本、网络传输成本优化策略。
成本优化
29
数据湖仓一体未来趋势
Serverless湖仓、Data Mesh、AI驱动的数据管理。
趋势Serverless
30
综合实战：从零搭建企业级平台
架构设计、选型、部署、调优全流程实战。
实战企业级