VIP20

本课程属于：009-实时OLAP分析 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时OLAP平台架构设计与生产部署

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时OLAP概述

OLAP概念、实时OLAP与传统OLAP对比、实时OLAP应用场景、技术选型概览。

概念对比场景

核心概念与指标

维度与度量、星型模型与雪花模型、数据立方体、预聚合与物化视图。

维度模型预聚合

Lambda架构详解、Kappa架构详解、混合架构设计、架构选型决策树。

LambdaKappa决策树

数据采集层

实时数据源接入（Kafka/Pulsar）、日志采集方案（Filebeat/Fluentd）、CDC技术（Debezium/Canal）、数据格式与序列化（Avro/Protobuf）。

KafkaCDC序列化

消息队列选型

Kafka核心原理、Kafka高可用与分区机制、Pulsar架构对比、消息队列选型对比表。

KafkaPulsar高可用

实时计算引擎

Apache Flink核心概念、Flink时间语义与Watermark、Flink状态管理与Checkpoint、Flink SQL与Table API。

FlinkWatermark状态管理

实时ETL处理、维表关联（Async I/O）、窗口聚合计算、TopN与去重实现。

ETL维表关联窗口聚合

OLAP存储引擎

ClickHouse架构与列存原理、Doris/StarRocks架构对比、Hologres与Druid简介、存储引擎选型对比。

ClickHouseDoris列存

ClickHouse深度

MergeTree引擎家族、分区与排序键设计、物化视图与投影、分布式表与分片。

MergeTree分区分布式

Doris/StarRocks深度

MPP架构与向量化执行、数据模型（Duplicate/Aggregate/Unique）、Rollup与物化视图、Colocation Group与分桶。

MPP数据模型Rollup

实时写入链路

Flink写入ClickHouse（JDBC/HTTP）、Flink写入Doris（Stream Load）、精确一次语义保证、写入性能调优。

写入Exactly-Once调优

查询服务层

查询接口设计（RESTful/SQL）、查询路由与负载均衡、缓存策略（Redis/Local Cache）、查询超时与熔断。

接口路由缓存

元数据管理

数据字典与血缘关系、指标管理系统、数据质量监控、Schema变更管理。

血缘指标质量

数据生命周期管理（TTL）、冷热数据分层、数据压缩与编码、数据备份与恢复。

TTL冷热分层压缩

监控与告警

链路监控（全链路追踪）、组件监控（Flink/ClickHouse）、业务监控（延迟/吞吐）、告警规则与通知。

监控告警追踪

查询优化（索引/分区裁剪）、写入优化（批量/异步）、资源隔离与限流、SQL调优实战案例。

查询优化写入优化SQL调优

高可用设计

计算层高可用（Flink HA）、存储层高可用（Replica）、多活与异地容灾、故障恢复演练。

HA容灾故障恢复

安全与权限

认证与鉴权（RBAC）、数据脱敏与加密、审计日志、网络安全策略。

RBAC脱敏审计

实战案例一：用户行为分析平台

需求分析、架构设计、数据模型设计、Flink作业开发、查询与可视化。

用户行为Flink可视化

实战案例二：实时大屏与BI报表

实时数据流接入、预聚合策略、大屏后端接口设计、WebSocket推送。

大屏BIWebSocket

实战案例三：实时风控系统

规则引擎集成、特征计算、实时决策、延迟与准确性平衡。

风控规则引擎实时决策

实战案例四：实时数仓（Realtime DW）

分层设计（ODS/DWD/DWS/ADS）、数据一致性保障、Flink SQL建模、与离线数仓融合。

实时数仓分层Flink SQL

数据一致性

实时场景下的数据一致性挑战、幂等性设计、Exactly-Once语义实现、最终一致性方案。

一致性幂等Exactly-Once

流表二象性

Flink动态表概念、流与表的转换、Changelog Stream、CDC与实时物化视图。

动态表ChangelogCDC

资源规划与成本

集群规模估算、资源利用率优化、Spot实例与弹性伸缩、成本控制最佳实践。

资源规划成本弹性伸缩

测试与验证

单元测试（Flink UDF）、集成测试（Testcontainers）、性能测试（JMeter/Locust）、数据正确性验证。

单元测试集成测试性能测试

代码仓库与分支策略、自动化构建与测试、容器化部署（K8s）、灰度发布与回滚。

CI/CDK8s灰度发布

Serverless OLAP、流式数仓（Streaming Warehouse）、Data Lakehouse与实时OLAP融合、AI for OLAP。

ServerlessStreaming WarehouseAI

常见问题与避坑

Flink OOM与反压、ClickHouse Too Many Parts、Doris BE Crash、数据倾斜处理。

OOM反压数据倾斜

课程总结与展望

知识体系回顾、架构演进路线、学习路径建议、社区与资源推荐。

总结演进资源