VIP20
本课程属于：004-Kafka数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka数据平台Topic设计实战

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Topic基础认知
什么是Topic、Partition与Offset，理解Topic在Kafka中的核心角色与定位。
核心概念入门
02
Topic命名规范
命名规则与最佳实践，分层命名法，环境标识与业务域划分策略。
规范治理
03
Partition设计原则
Partition数量确定方法，与Consumer的对应关系，对吞吐量的影响分析。
性能设计
04
Replica与ISR机制
Replica副本作用，Leader与Follower选举，ISR机制详解。
高可用副本
05
消息键与分区策略
Key的作用，默认分区器与自定义分区器实现，消息路由控制。
分区路由
06
消息体设计
Value序列化与反序列化，Avro与Protobuf选型，Schema Registry集成。
序列化Schema
07
Topic配置参数详解
retention.ms、cleanup.policy、compression.type、max.message.bytes等核心参数。
配置调优
08
日志压缩（Log Compaction）
Log Compaction原理、适用场景，与Log Deletion的区别。
存储压缩
09
Topic的创建与管理
命令行创建Topic，Java AdminClient创建，Topic的修改与删除操作。
运维管理
10
Topic的分区重分配
分区重分配场景，kafka-reassign-partitions.sh使用，手动迁移数据。
运维迁移
11
Topic的扩容与缩容
增加Partition注意事项，减少Partition限制，扩容对生产消费的影响。
扩容规划
12
消息顺序性保证
单分区内顺序，全局顺序的代价，业务场景下的取舍策略。
顺序一致性
13
幂等性与事务
幂等生产者原理，事务性消息（Exactly-Once Semantics），事务API使用。
事务EOS
14
消息可靠性保证
acks参数详解，min.insync.replicas配置，生产端重试机制。
可靠性ACK
15
消费端Rebalance机制
Rebalance触发条件，Cooperative Sticky Assignor，静态消费组。
消费Rebalance
16
消费位移管理
自动提交与手动提交，位移提交语义保证，位移重置（seek与offsetsForTimes）。
位移消费
17
Topic监控与告警
JMX指标采集，Lag监控，关键告警指标设置。
监控告警
18
Topic数据清理策略
delete与compact策略，基于时间的清理，基于大小的清理。
清理存储
19
跨集群Topic同步
MirrorMaker 2.0配置，双活与主备架构，Topic映射规则。
跨集群同步
20
Topic安全控制
ACL权限模型，SASL/SSL认证，Topic级别的授权。
安全ACL
21
Schema Registry集成
Avro Schema定义，兼容性检查（BACKWARD/FORWARD/FULL），Schema演进。
Schema兼容性
22
Topic与Kafka Connect
Source Connector与Sink Connector的Topic映射，Single Message Transform。
Connect集成
23
Topic与Kafka Streams
内部Topic（changelog/repartition），状态存储与Topic的关系。
Streams状态
24
大消息处理
max.message.bytes调优，消息分片策略，外部存储引用方案。
大消息调优
25
Topic的冷热数据分离
基于时间的分层存储，Confluent Tiered Storage，自定义冷存储方案。
冷热分层
26
Topic的测试策略
单元测试EmbeddedKafka，集成测试与性能测试，测试Topic命名规范。
测试质量
27
Topic的容量规划
消息量预估，磁盘空间计算，带宽与内存规划。
容量规划
28
Topic的故障排查
常见问题（Leader不可用、ISR收缩、消息丢失），日志分析与工具使用。
故障排查
29
Topic设计案例
电商订单系统Topic设计，日志采集系统Topic设计，实时数仓Topic设计。
案例实战
30
Topic设计最佳实践
总结与复盘，设计检查清单，持续优化策略。
最佳实践总结