VIP20

本课程属于：044-实时数仓建设 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

企业实时数仓分层建模与项目交付

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

项目背景与架构设计

实时数仓概念、电商/金融业务背景，技术选型 Flink+Kafka+ClickHouse+Hudi，整体架构图设计。

环境搭建与集群部署

Hadoop、Zookeeper、Kafka、Flink on YARN、ClickHouse 集群部署与验证。

数据模拟与采集层

数据埋点设计、Java/Python 模拟生成器、Kafka Topic 设计及采集通道搭建。

Kafka 数据入湖 Hudi，ODS 表设计、分区策略、压缩与存储优化。

DWD层建设（事实表）

实时 ETL 清洗、维度退化、宽表构建，Flink CDC 实时同步。

DIM层建设（维度表）

维度建模理论、缓慢变化维处理、Redis/HBase 维表关联。

DWS层建设（轻度聚合）

实时聚合指标、Tumble/Hop/Session 窗口，Flink SQL 与 DataStream API 结合。

ADS层建设（应用层）

ClickHouse 物化视图、预聚合表、分布式表、高并发查询优化。

实时ETL与数据清洗

脏数据过滤、字段补全、脱敏、异常值处理及数据质量监控。

Flink状态管理与容错

Keyed/Operator State、Checkpoint/Savepoint、状态后端、Exactly-Once 语义。

Flink Watermark与乱序处理

Watermark 生成策略、Allowed Lateness、Side Output 处理迟到数据。

Watermark乱序

Flink SQL与Table API

动态表、连续查询、Top-N/窗口函数、UDF/UDAF/UDTF 开发、SQL Client 实战。

Flink SQLTable API

Kafka深度优化

分区策略、消息可靠性（ACK/ISR）、重平衡机制、监控与告警。

Hudi核心原理与实战

Copy-on-Write / Merge-on-Read、Incremental Query、Flink 集成、Compaction 与 Clean。

ClickHouse查询优化

MergeTree 引擎、分区/排序键设计、物化视图、分布式查询优化。

ClickHouse查询

实时数仓数据一致性

双流 Join（Interval/Regular）、维表 Join（Async IO/Lookup）、去重方案。

实时数仓数据回溯

离线补全、Lambda vs Kappa 架构、数据回溯方案设计。

实时数仓监控与告警

Flink Metrics、Prometheus+Grafana、任务恢复、延迟告警。

实时数仓性能调优

并行度设置、算子链优化、反压处理、内存与 GC 调优。

实时数仓安全与权限

Kerberos 认证、数据脱敏、RBAC 访问控制、审计日志。

实时数仓数据服务

API 网关、RESTful/WebSocket 接口、数据订阅与推送。

数据服务API

实时数仓数据可视化

Superset/Grafana 仪表盘、实时大屏、报表自动化。

可视化大屏

实时数仓数据治理

元数据管理（Atlas）、数据血缘、质量规则、生命周期管理。

治理元数据

实时数仓CI/CD

GitLab CI/CD 流水线、Flink 自动部署、Apollo/Nacos 配置中心、版本管理。

实时数仓测试体系

单元测试、集成测试、端到端测试、数据比对、压力测试。

实时数仓灾备与高可用

异地多活、主备切换、数据备份恢复、故障演练。

灾备高可用

实时数仓成本优化

资源弹性伸缩、Spot Instance、冷热分离、存储压缩比优化。

实时数仓案例实战（上）

实时大屏（GMV/UV/PV）、实时风控（交易反欺诈）、实时推荐（用户画像）。

实时数仓案例实战（下）

实时报表（财务/运营）、实时监控（服务器/业务）、实时数据同步（CDC）。

项目总结与面试指南

项目亮点提炼、面试高频问题、简历撰写技巧、职业发展路径。