VIP20

本课程属于：009-实时OLAP分析 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

列式存储引擎设计与秒级查询优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

列式存储的起源：从行存储到列存储的演进

为什么大数据时代需要列式存储？回顾数据处理瓶颈，理解列存诞生的必然性。

核心概念：行式存储 vs 列式存储

数据在磁盘上的物理布局差异，剖析两种存储模型对读写路径的根本影响。

对比物理布局

压缩原理：数据局部性与高压缩比

字典编码、RLE、差分编码如何利用列存特性实现极致压缩，降低存储成本。

查询加速：投影下推与谓词下推

为什么列存能跳过无关数据？详解下推机制如何减少I/O与计算开销。

延迟物化：推迟行构建提升性能

查询执行时，列存如何延迟行重建，减少中间数据膨胀并提升缓存效率。

向量化执行：CPU缓存与SIMD指令集

让列存查询飞起来——利用现代CPU特性进行批量数据处理，突破标量瓶颈。

主流系统剖析：Parquet 与 ORC 深度对比

Apache Parquet 与 Apache ORC 文件格式的设计哲学、元数据与性能差异。

存储分层：列存与LSM-Tree的结合

Apache HBase、ClickHouse MergeTree 如何融合列存与LSM，平衡读写。

索引技术：Zone Map、Min-Max与布隆过滤器

列存中索引如何辅助剪枝？Zone Map、Min-Max索引、布隆过滤器的实战应用。

数据排序：排序键影响剪枝效率

排序键如何组织数据块，极大提升范围查询与点查的列存剪枝能力。

二级索引：高效点查与范围查询

列存中二级索引的实现方式，以及如何弥补列存在精确查找上的短板。

二级索引点查

数据更新：Delta Store + Merge 策略

列存面对频繁更新时的挑战与解决方案，理解Delta存储与合并机制。

事务与隔离：列存引擎实现ACID

以Apache Iceberg为例，剖析列存如何通过快照与MVCC提供事务保障。

实时摄入：从Kafka到列存

如何保证秒级可见性？解析流式写入列存的架构与微批处理策略。

物化视图：预计算与亚秒级聚合

物化视图与列存结合，实现预聚合、查询加速与透明改写。

物化视图预计算

查询优化器：统计信息与代价模型

列存场景下的统计信息收集、基数估计与代价模型如何选择最优执行计划。

优化器统计

分布式列存：分片、分区裁剪与计算下推

数据分片策略、分区裁剪以及将计算下推到存储节点的设计。

分布式下推

内存列存：DuckDB与Hyper引擎设计

纯内存列存引擎如何利用向量化与紧凑数据结构实现极速分析。

硬件加速：GPU、FPGA、NVMe SSD

利用异构硬件进一步加速列存查询，突破传统CPU与I/O瓶颈。

云原生列存：对象存储上的查询

AWS Redshift Spectrum 与 S3 结合，实现弹性、低成本的列存分析。

列存与AI：特征工程与模型推理

列存如何支撑批处理特征工程与模型推理，提升AI数据管线效率。

时序场景：Prometheus、VictoriaMetrics实践

列存在时序监控系统中的存储模型、压缩与查询优化。

日志分析：ELK栈中的列存特性

Elasticsearch 引入列存后，日志场景的存储与聚合性能提升。

数据湖：Delta Lake、Hudi、Iceberg底层格式

列存作为数据湖统一存储格式，支撑ACID与时间旅行。

数据湖格式

性能基准：TPC-H、ClickBench测试

列存在标准分析基准中的表现，解读性能数据与关键指标。

调优实战：列存表设计最佳实践

排序键、分区键、压缩算法选择，从真实案例总结调优经验。

监控与诊断：执行计划与I/O瓶颈

如何分析列存查询的执行计划、识别I/O热点并针对性优化。

迁移指南：从MySQL/PostgreSQL到列存数仓

行存迁移到列存的注意事项、数据类型映射与ETL策略。

未来趋势：Serverless、存算分离、新硬件

列存与Serverless、CXL/PMem等新硬件结合，展望下一代分析架构。

趋势新硬件

总结与展望：列式存储的边界

何时不该用列存？梳理列存的适用场景与未来演进方向。