VIP20

本课程属于：001-批处理数据仓库架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

跨数据库分区表设计与查询性能优化

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

分区策略概述

什么是分区、为什么需要分区、分区在数据库与大数据系统中的核心价值。

分区类型详解

水平分区（Range、List、Hash）、垂直分区、混合分区策略对比。

Range分区实战

基于时间范围的分区设计（如按年/月/日分区），MySQL与PostgreSQL实现对比。

MySQLPostgreSQL

List分区实战

基于枚举值的分区设计（如按地区、状态字段分区），适用场景与注意事项。

Hash分区实战

基于哈希函数的分区设计，解决数据倾斜问题，一致性哈希原理与实现。

哈希一致性

复合分区（子分区）

Range+Hash、List+Hash组合策略，如何平衡查询性能与数据管理。

分区键选择策略

如何选择最优分区键，避免热点问题，分区键对查询性能的影响分析。

键设计热点

分区裁剪（Partition Pruning）

原理、执行计划分析、如何利用分区裁剪提升查询性能。

性能执行计划

分区与索引

局部索引 vs 全局索引，分区表索引设计最佳实践，MySQL与Oracle差异。

索引MySQLOracle

分区表的数据管理

分区添加、合并、拆分、删除、交换操作，实战操作步骤。

分区与数据生命周期管理

基于分区的数据归档、冷热数据分离、TTL策略实现。

大数据系统中的分区

Hive分区表设计、HDFS目录结构、动态分区插入优化。

Spark中的分区

RDD分区、DataFrame分区、repartition与coalesce区别、shuffle分区优化。

Kafka分区机制

Topic分区设计、分区分配策略（RangeAssignor、RoundRobin、Sticky）、消费者Rebalance。

Elasticsearch分片与分区

主分片与副本分片设计、路由策略、分片重分配与集群均衡。

分布式数据库分区

TiDB分区表、CockroachDB分区、Google Spanner分区策略对比。

分区与数据一致性

分布式事务中的分区挑战、两阶段提交与Saga模式在分区场景下的应用。

分区与高可用

分区副本机制、故障转移、Raft/Paxos协议在分区节点间的协调。

分区与负载均衡

自动分区迁移、热点数据调度、动态分区调整策略。

分区性能调优

分区大小控制、分区数量规划、分区表查询优化实战案例。

分区监控与运维

分区使用率监控、分区碎片整理、分区健康检查工具与脚本。

云原生环境下的分区策略

AWS Aurora、Google Cloud Spanner、Azure Cosmos DB分区设计。

云原生Aurora

实时流处理中的分区

Flink Kafka分区分配、Watermark与分区对齐、并行度与分区关系。

分区与数据倾斜

倾斜原因分析、采样与统计、自定义分区器解决倾斜问题。

倾斜自定义

分区在数据仓库中的应用

ClickHouse分区、Doris分区、Snowflake微分区原理。

数仓ClickHouse

分区与数据安全

基于分区的数据隔离、访问控制、合规性要求（GDPR数据分区删除）。

分区迁移与重分布

在线分区迁移、数据重分布策略、零停机分区调整方案。

分区策略设计模式

时间窗口模式、地理分区模式、业务域分区模式、混合模式。

分区策略选型决策树

如何根据业务场景选择分区策略，决策流程与评估矩阵。

综合实战案例

设计一个日活千万的电商订单系统的分区方案，涵盖MySQL、Kafka、Hive、Spark全链路。