VIP10

本课程属于：023-数据安全、成本与可靠性工程 后端、数据与云原生工程 · 共 10 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

基于Kafka搭建备份消息管道

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

消息队列概念、Kafka核心特性、应用场景及与RabbitMQ对比分析

Kafka集群搭建

Zookeeper安装、Broker配置、集群启动验证与常用命令行工具

Topic与Partition

Topic管理、Partition分区机制、副本因子设置及分配策略

生产者原理

客户端开发、同步/异步发送、acks与retries配置、幂等性与事务

开发可靠性

消费者原理

消费者组、位移管理、Rebalance机制及客户端开发实践

消息可靠性

ACK机制、Leader选举、ISR与OSR、数据丢失场景与防范

可靠性高可用

消息顺序性

分区内有序、全局有序方案、顺序消费代价及项目取舍

消息重复与幂等

重复消费原因、幂等生产者、消费者幂等实现与去重方案

Kafka存储机制

日志存储结构、Segment与Index、清理策略及磁盘优化

Kafka网络模型

网络线程模型、请求处理流程、参数调优与连接管理

Kafka监控与运维

JMX监控、Kafka Manager、Prometheus+Grafana及故障排查

Kafka安全机制

SSL/TLS加密、SASL认证、ACL权限控制及安全最佳实践

Connect架构、Source与Sink、FileStream及JDBC Connector实战

集成数据管道

流处理概念、Streams DSL、状态存储、窗口操作与KTable/KStream

流处理实时

KSQL简介、流与表、查询语法、聚合操作及实际案例

备份管道需求分析

业务场景、技术选型、全量/增量备份策略、RTO与RPO指标

备份管道架构设计

双机房架构、MirrorMaker2、Confluent Replicator及自研方案对比

架构高可用

MirrorMaker2详解

架构原理、配置详解、偏移量同步与双向复制配置

备份管道数据一致性

Exactly-Once语义、数据校验机制、延迟监控与修复策略

一致性校验

备份管道高可用

故障转移、脑裂问题、仲裁机制与自动恢复流程

高可用容错

备份管道性能调优

带宽控制、批量大小、压缩算法、内存与CPU调优

备份管道监控告警

关键指标采集、告警规则设计、Dashboard搭建与日志聚合

备份管道容灾演练

演练计划、故障注入、数据校验与演练报告

跨地域备份

跨机房延迟优化、异步复制策略、数据压缩与网络抖动处理

跨地域优化

备份数据恢复

恢复策略、数据校验、回滚方案与恢复时间优化

备份管道安全

传输加密、访问控制、审计日志与密钥管理

备份管道成本优化

存储成本、网络成本、计算资源与冷热数据分离

备份管道自动化

CI/CD集成、自动化部署、自动化测试与自动化巡检

自动化DevOps

备份管道实战案例

金融、电商、日志、IoT场景下的备份管道落地实践

备份管道总结与展望

最佳实践总结、未来趋势、Kafka 3.x新特性与替代方案探讨