VIP20
本课程属于：009-实时OLAP分析 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时OLAP平台迁移与数据一致性验证

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
OLAP概念与实时场景
什么是OLAP，实时大屏、报表、风控等典型场景，OLAP与OLTP的全面对比。
基础场景
02
核心选型维度
查询性能、写入吞吐、数据一致性、运维复杂度、生态兼容性及成本权衡。
决策评估
03
主流引擎概览
ClickHouse、Doris、StarRocks、Elasticsearch、Hologres、Kylin、Druid 全景对比。
对比选型
04
ClickHouse深度解析
列式存储、MergeTree引擎家族、分布式表、物化视图与性能调优实践。
引擎调优
05
Apache Doris深度解析
MPP架构、Rollup表模型、Colocation Join、物化视图及查询优化技巧。
架构Doris
06
StarRocks深度解析
向量化执行引擎、CBO优化器、主键模型、物化视图及与Doris的异同分析。
StarRocks对比
07
Elasticsearch在OLAP中的角色
倒排索引、聚合分析、时序场景及与ELK栈的协同配合。
搜索时序
08
Hologres与云原生OLAP
HSAP概念、存储计算分离、与Flink深度集成及阿里云生态。
云原生HSAP
09
Kylin与预计算方案
Cube预计算、构建过程、查询性能及固定报表场景的最佳实践。
预计算Cube
10
Druid与流式摄入
实时摄入、Segment管理、时序优化及与Kafka的集成方案。
流式Druid
11
选型决策矩阵
多维度打分表，场景匹配：高并发、大吞吐、低延迟、高灵活性。
决策矩阵
12
迁移前评估
现有系统分析（Hive/Impala/Presto/MySQL），数据量级、查询模式与SLA要求。
评估迁移
13
数据迁移策略
全量迁移、增量迁移、双写方案、校验机制与回滚方案。
策略双写
14
ETL与数据管道改造
从Hive/Spark SQL迁移到实时管道，Flink CDC、Kafka Connect实战。
管道Flink
15
查询迁移与兼容性
SQL方言差异、函数映射、UDF迁移及查询改写技巧。
SQL兼容
16
物化视图与预计算迁移
从Kylin Cube到StarRocks物化视图，从Druid到ClickHouse聚合表。
物化视图预计算
17
实时大屏场景选型
秒级刷新、高并发查询、数据一致性，推荐组合 StarRocks + Flink。
大屏实时
18
实时风控场景选型
毫秒级延迟、复杂事件处理、特征计算，推荐组合 ClickHouse + Flink。
风控低延迟
19
实时报表场景选型
Ad-hoc查询、多维分析、用户画像，推荐组合 Doris + Flink。
报表多维
20
日志与可观测性场景选型
高写入吞吐、全文检索、时序分析，推荐组合 Elasticsearch + ClickHouse。
日志可观测
21
混合负载场景选型
同时支持点查与OLAP、资源隔离，推荐组合 StarRocks + Hologres。
混合隔离
22
迁移实施步骤
环境搭建、数据同步、查询验证、性能压测、灰度切换与全量切换。
实施灰度
23
性能压测方法论
标准TPC-H/TPC-DS测试、自定义业务场景、并发模型与监控指标。
压测TPC
24
常见迁移陷阱与避坑
数据类型不兼容、时区问题、NULL值处理、分布式事务缺失等。
避坑兼容
25
运维与监控体系
Prometheus + Grafana集群监控、慢查询分析、资源管理与备份恢复。
运维监控
26
成本优化
存储压缩比、计算资源弹性、冷热分层与按需缩容。
成本冷热
27
安全与权限管理
RBAC、行列级权限、数据脱敏与审计日志。
安全权限
28
未来趋势
Serverless OLAP、湖仓一体、实时数仓融合与AI辅助调优。
趋势Serverless
29
案例实战：电商平台迁移
某电商平台从Hive + Impala迁移到StarRocks的全过程与关键收益。
案例电商
30
案例实战：金融企业迁移
某金融企业从Druid迁移到ClickHouse的踩坑记录与宝贵收获。
案例金融
专注课程资料整理