VIP20

本课程属于：004-Kafka数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Consumer Group 消费组管理技巧

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

消费组核心概念

什么是Consumer Group、消费组与分区的关系、消费组的状态机模型。

消费组协调器

Group Coordinator的角色、如何选举Coordinator、Coordinator的职责。

消费组元数据管理

Group Metadata的存储结构、__consumer_offsets主题详解、位移提交机制。

元数据存储

消费组Rebalance机制

Rebalance触发条件、Rebalance的完整流程、Eager & Cooperative策略。

Rebalance策略

消费组位移管理

自动提交 vs 手动提交、语义保证（At-least-once / At-most-once / Exactly-once）、位移重置与回溯。

消费组监控与诊断

使用kafka-consumer-groups.sh脚本、JMX监控指标、常见问题排查思路。

消费组性能优化

并行度与分区数设计、批量消费参数调优、Session超时与心跳配置。

消费组安全与权限

SASL/SSL认证配置、ACL权限控制、消费组级别的安全策略。

消费组跨集群方案

MirrorMaker与消费组迁移、双活/灾备场景下的消费组设计、Offset同步策略。

跨集群灾备

消费组实战案例

高吞吐日志采集场景、实时ETL场景、微服务事件驱动场景。

消费组与Exactly-Once语义

事务性生产者与消费者、Read-Process-Write模式、幂等性设计。

Exactly-Once事务

消费组与静态成员

Static Group Membership原理、避免不必要的Rebalance、静态成员配置实战。

静态成员稳定

消费组与Sticky Assignor

粘性分区分配策略、减少Rebalance开销、Sticky vs Range vs RoundRobin。

分配策略粘性

消费组与增量式Rebalance

Cooperative Sticky Assignor详解、增量式Rebalance的优缺点、升级迁移指南。

增量Cooperative

消费组与消费者延迟

Lag监控与告警、Lag产生原因分析、Lag治理最佳实践。

消费组与多线程消费

单线程 vs 多线程消费模型、线程安全与并发控制、多线程消费实战代码。

多线程并发

消费组与顺序消费

分区内顺序保证、全局顺序的代价、顺序消费的替代方案。

消费组与死信队列

消费失败处理策略、死信队列设计与实现、重试机制与退避策略。

消费组与流量控制

背压机制（Backpressure）、限流策略、动态调整消费速率。

流量控制背压

消费组与Schema Registry

Avro/Protobuf序列化、Schema兼容性检查、消费组与Schema演进。

Schema序列化

消费组与Kafka Streams

Streams应用的消费组本质、任务分配与Rebalance、状态存储与容错。

消费组与Kafka Connect

Source/Sink Connector的消费组管理、Connector的Rebalance机制、连接器监控。

消费组与Kafka REST Proxy

REST Proxy的消费组管理、HTTP消费者模式、适用场景与限制。

消费组与Kafka on Kubernetes

Strimzi Operator管理消费组、K8s环境下的Rebalance挑战、云原生最佳实践。

消费组与Kafka on Cloud

Confluent Cloud消费组管理、AWS MSK消费组特性、云服务商差异对比。

消费组与Kafka版本升级

升级对消费组的影响、滚动升级策略、兼容性注意事项。

消费组与Kafka配置最佳实践

核心参数推荐值、生产环境配置清单、配置变更的灰度策略。

配置最佳实践

消费组与测试

单元测试消费组逻辑、集成测试Rebalance行为、性能测试与基准测试。

消费组与故障恢复

消费者宕机恢复、Coordinator故障转移、脑裂与一致性保障。

消费组未来演进

KIP-848（新一代消费组协议）、Serverless消费组、消费组的发展趋势。