VIP20
本课程属于：016-Kafka数据流平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka分区策略与数据分布

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
分区思想启蒙
为什么需要分区？从单机到分布式，数据分区的本质与核心价值。
基础思想
第2章
分区键设计哲学
如何选择分区键？哈希、范围、列表分区键的适用场景与陷阱。
设计键
第3章
哈希分区（上）
一致性哈希原理、虚拟节点技术、环状空间与数据映射。
哈希一致性
第4章
哈希分区（下）
一致性哈希的优缺点、数据倾斜问题、引入虚拟节点的优化策略。
优化倾斜
第5章
范围分区
基于有序键的范围划分、热点问题、预分裂与动态分裂策略。
范围分裂
第6章
列表分区
基于枚举值的分区、地理分区、多级列表分区设计。
枚举地理
第7章
复合分区
范围+哈希、列表+哈希、多级分区策略的组合艺术。
组合高级
第8章
分区与数据分布模型
Round-Robin、随机分布、基于负载的分布策略。
分布模型
第9章
分区与副本
主从复制下的分区策略、Quorum机制与分区容错。
副本容错
第10章
分区与一致性
强一致性、最终一致性在分区系统中的权衡，CAP理论在分区中的体现。
一致性CAP
第11章
分区与事务
分布式事务在跨分区场景下的挑战，2PC、Saga、TCC模式。
事务分布式
第12章
分区与索引
全局索引 vs 本地索引，分区键对索引性能的影响。
索引性能
第13章
分区与Join
跨分区Join的挑战，Broadcast Join、Repartition Join、Colocation Join。
Join跨分区
第14章
分区与数据倾斜
倾斜的成因（热点Key、数据分布不均），倾斜的检测与动态重分布。
倾斜热点
第15章
分区与扩缩容
数据再平衡（Rebalancing）的挑战，最小化数据迁移的策略。
扩缩容迁移
第16章
分区与路由
客户端路由、代理层路由、中心化路由表，元数据管理。
路由元数据
第17章
分区与存储引擎
LSM-Tree与B+Tree在分区下的表现，分区与Compaction的交互。
存储引擎
第18章
分区与缓存
分区感知的缓存策略，本地缓存与分布式缓存的协同。
缓存协同
第19章
分区与流处理
Kafka分区机制、消息顺序保证、消费者Rebalance。
流处理Kafka
第20章
分区与数据库中间件
MyCat、ShardingSphere、Vitess的分区实现对比。
中间件对比
第21章
分区与NoSQL
Cassandra的分区策略、MongoDB的片键设计、HBase的Region分裂。
NoSQL片键
第22章
分区与NewSQL
TiDB的Region调度、CockroachDB的Range分区与负载均衡。
NewSQL调度
第23章
分区与云原生
Kubernetes StatefulSet下的分区管理，Operator模式。
云原生K8s
第24章
分区与数据湖
Hive分区表、Iceberg分区演进、Delta Lake的Z-Order。
数据湖Iceberg
第25章
分区与数据仓库
ClickHouse的分片与分区、StarRocks的Colocate Group。
数仓分片
第26章
分区与搜索
Elasticsearch的分片策略、路由计算、分片分配与恢复。
搜索ES
第27章
分区与图数据库
Neo4j的分区挑战、JanusGraph的分区策略。
图数据库JanusGraph
第28章
分区与时间序列
InfluxDB的分片策略、Prometheus的分区与联邦。
时序Prometheus
第29章
分区与Serverless
无服务器架构下的分区挑战，自动扩缩容与冷启动。
Serverless冷启动
第30章
分区未来趋势
AI驱动的智能分区、自适应分区、跨数据中心分区策略。
未来AI