VIP20

本课程属于：004-Kafka数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka生产集群日常运维与故障处置

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka发展史、核心概念（Topic、Partition、Broker、Producer、Consumer）、应用场景与选型分析。

Kafka集群部署

环境准备（JDK、ZooKeeper）、集群规划、配置文件详解、启动与验证。

Kafka基础运维

常用命令行工具（kafka-topics.sh、kafka-console-producer.sh、kafka-console-consumer.sh）、Topic管理操作。

Kafka生产调优

Producer参数调优（acks、batch.size、linger.ms、compression.type）、分区策略选择、幂等性与事务。

Kafka消费调优

Consumer参数调优（fetch.min.bytes、max.poll.records、session.timeout.ms）、再均衡机制、消费位移管理。

Kafka存储机制

日志存储结构（Segment、Index、TimeIndex）、日志清理策略（delete、compact）、日志压缩原理。

Kafka副本机制

副本角色（Leader、Follower）、ISR机制、副本故障处理、最小同步副本配置。

副本高可用

Kafka高可用设计

多副本与多分区、故障转移、集群扩容与缩容、跨机房部署方案。

高可用容灾

Kafka监控体系

JMX指标采集、Prometheus + Grafana集成、关键指标解读（吞吐量、延迟、分区数、ISR状态）。

监控Prometheus

Kafka安全机制

SSL/TLS加密传输、SASL认证（PLAIN、SCRAM、GSSAPI）、ACL权限控制。

Kafka连接器 (Kafka Connect)

Source与Sink概念、常用连接器（File、JDBC、Elasticsearch）、集群模式部署。

Kafka流处理 (Kafka Streams)

流处理概念、DSL与Processor API、状态存储与容错、Exactly-Once语义。

流处理Streams

Kafka与日志采集

Filebeat/Kafka集成、Logstash/Kafka集成、Flume/Kafka集成、日志采集最佳实践。

Kafka与数据管道

Kafka作为数据总线、与Hadoop/Hive集成、与Spark Streaming集成、与Flink集成。

数据管道Flink

Kafka性能压测

使用kafka-producer-perf-test.sh、kafka-consumer-perf-test.sh、压测指标分析、瓶颈定位。

Kafka故障排查

常见问题（Leader选举失败、磁盘空间不足、网络超时、OOM）、日志分析技巧、诊断工具。

Kafka版本升级

滚动升级策略、版本兼容性检查、升级步骤与回滚方案、注意事项。

Kafka集群迁移

数据迁移方案（MirrorMaker、MM2）、集群间同步、流量切换策略。

迁移MirrorMaker

Kafka配额管理

Producer配额、Consumer配额、请求处理配额、配额监控与调整。

Kafka日志管理

日志级别配置、日志轮转、日志清理、日志分析工具。

Kafka与ZooKeeper

ZooKeeper在Kafka中的作用、ZooKeeper集群维护、ZNode结构解析、ZooKeeper故障影响。

ZooKeeper协调

Kafka KRaft模式

KRaft架构原理、去除ZooKeeper依赖、KRaft集群部署、与传统模式对比。

Kafka REST Proxy

REST Proxy部署、API使用（生产、消费、管理）、安全配置、适用场景。

Kafka Schema Registry

Schema Registry作用、Avro/Protobuf/JSON Schema支持、兼容性策略、与Kafka集成。

Kafka多租户管理

Topic命名规范、资源隔离、配额管理、审计日志。

多租户隔离

Kafka数据治理

数据生命周期管理、数据备份与恢复、数据脱敏、合规性要求。

Kafka运维自动化

Ansible/SaltStack自动化部署、CMDB集成、健康检查脚本、告警规则配置。

自动化Ansible

Kafka容量规划

吞吐量估算、磁盘容量规划、内存与CPU规划、网络带宽规划。

Kafka最佳实践

配置最佳实践、运维最佳实践、开发最佳实践、常见误区总结。

最佳实践经验

Kafka案例实战

某电商平台Kafka集群建设、某金融公司Kafka迁移、某互联网公司Kafka故障复盘。