VIP20

本课程属于：009-实时OLAP分析 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

列式存储压缩编码与向量化执行优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

列式存储概述

行式存储 vs 列式存储，核心概念与适用场景，奠定列存认知基础。

列式存储的数据结构

Page、Row Group、Column Chunk 详解，剖析列存物理布局。

列式存储的编码技术

字典编码、RLE、Delta Encoding 原理与对比，压缩前置技术。

列式存储的压缩算法

Snappy、Zstd、Gzip 在列存中的表现，权衡速度与压缩比。

列式存储的索引机制

Min-Max Index、Bloom Filter、Zone Map 加速数据过滤。

列式存储的查询下推

谓词下推、投影下推、Limit下推，减少IO与计算开销。

列式存储的向量化执行

SIMD 指令集与批量处理，利用CPU并行加速分析查询。

列式存储的延迟物化

列裁剪与按需加载策略，减少不必要的数据读取。

列式存储的排序与聚集

Sort Merge Join 与 Hash Join 在列存中的优化，加速聚合。

列式存储的写优化

LSM-Tree 与列存的结合（如 Apache Cassandra），平衡写放大。

列式存储的读优化

预读、缓存策略与数据局部性，提升扫描与点查性能。

列式存储的元数据管理

统计信息、分区信息与数据字典，支撑查询优化与裁剪。

元数据统计

Parquet 文件格式深度解析

列式存储格式 Parquet 的布局、编码与嵌套类型支持。

ORC 文件格式深度解析

ORC 的 stripe、index、bloom filter 设计，Hive 生态核心。

Arrow 列式内存格式详解

跨语言、零拷贝的列式内存表示，加速分析引擎交互。

列式存储格式对比

Parquet vs ORC vs Arrow，适用场景、压缩率与性能权衡。

Apache Spark 列式处理

Spark SQL 的列式引擎、Tungsten 与向量化读取。

ClickHouse 列式存储架构

MergeTree 引擎、列式合并与实时分析设计。

ClickHouse架构

DuckDB 列式执行模型

嵌入式列存、向量化执行与 Morsel 驱动并行。

DuckDB嵌入式

Presto/Trino 列式优化

列式读取、谓词下推与动态过滤在分布式引擎中的实践。

Snowflake 微分区与列存

Snowflake 的列式存储、微分区裁剪与自动聚类。

Snowflake微分区

Redshift 排序键与列存

Amazon Redshift 的列式存储、排序键与分布键设计。

Redshift排序键

BigQuery Capacitor 列存

Google BigQuery 的 Capacitor 列式格式与动态树架构。

BigQueryCapacitor

Druid 时间分区与列存

Apache Druid 的列式存储、时间分区与预聚合优化。

InfluxDB 时间序列列存

InfluxDB 的列式存储、TSM 引擎与时间序列优化。

Apache Kudu 实时分析

Kudu 的列式存储、快速更新与实时分析场景。

HBase 宽表与列存

Apache HBase 的列式存储、宽表设计与稀疏数据处理。

Cassandra 分区键与列存

Apache Cassandra 的列式存储、分区键设计与LSM整合。

Cassandra分区

Hive 列存与ACID事务

Apache Hive 的列式存储、ORC格式与ACID事务支持。

Impala 列存与实时查询

Apache Impala 的列式存储、MPP架构与低延迟查询。