VIP20

本课程属于：004-Kafka数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka集群监控运维与高可用部署

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

消息队列概念、Kafka核心特性、应用场景及与RabbitMQ对比分析。

ZooKeeper安装、Kafka Broker安装、多Broker集群配置与启动验证。

Topic创建与删除、分区与副本机制、分区分配策略及手动重分配。

生产者原理

生产者架构、消息发送流程、分区选择策略与ACK确认机制详解。

原理生产者

生产者调优

批量发送与压缩、缓冲区配置、重试机制及幂等性与事务保证。

消费者原理

消费者与消费组、分区再均衡、位移提交机制及消费进度监控。

原理消费者

消费者调优

拉取参数调优、并发消费策略、位移管理与消费者故障处理。

调优稳定性

日志分段结构、索引文件、日志清理策略及磁盘I/O优化实践。

Leader选举、ISR机制、副本同步与Unclean Leader选举场景。

高可用副本

SSL/TLS加密、SASL认证、ACL权限控制及安全最佳实践。

JMX指标、Prometheus+Grafana集成、关键指标解读与告警规则设计。

监控Prometheus

日志级别配置、日志轮转、日志分析工具及常见错误日志解读。

性能基准测试

使用kafka-producer-perf-test与consumer-perf-test，结果分析与容量规划。

新增Broker、分区迁移、数据再平衡及缩容注意事项。

常见故障分类、排查方法论、日志分析技巧与案例实战。

MirrorMaker2使用、跨集群同步、迁移验证与回滚方案。

迁移跨集群

Source/Sink Connector、REST API管理及连接器监控。

流处理概念、DSL与Processor API、状态存储及窗口操作。

流处理Streams

Kafka REST Proxy

部署配置、生产消费API、Schema Registry集成与安全配置。

Schema Registry

Avro序列化、Schema兼容性、Schema演进及REST API管理。

Kafka与ELK集成

Filebeat/Logstash配置、Kafka作为缓冲层及Kibana可视化。

Kafka与Flink集成

Flink Kafka Connector、Exactly-Once语义、Checkpoint与性能调优。

Kafka与Spark集成

Structured Streaming、Direct Stream方式、偏移量管理与背压机制。

Kafka与Spring Boot集成

Spring Kafka配置、@KafkaListener使用、消息转换与异常处理。

Spring微服务

Kafka与Kubernetes

Strimzi Operator部署、Pod管理、存储配置与滚动升级。

Kafka与云原生

Confluent Cloud、AWS MSK、阿里云Kafka及成本优化策略。

云原生托管

Kafka监控告警实战

Prometheus告警规则、Alertmanager配置、通知渠道与告警降噪。

Kafka运维自动化

Ansible部署剧本、健康检查脚本、自动扩缩容与备份恢复。

自动化运维

Kafka高可用架构

多数据中心部署、灾备方案、RPO/RTO设计与故障切换演练。

高可用灾备

Kafka实战案例

电商订单系统、日志采集平台、实时风控系统与物联网数据管道。