VIP20

本课程属于：049-实时数据产品化 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时数据产品运维实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

实时数据产品概述

定义与应用场景，技术栈概览（Flink、Kafka、HBase），运维挑战与应对思路。

Flink核心概念与架构

数据流模型、运行时架构（JobManager/TaskManager）、状态管理与容错机制详解。

Kafka核心概念与架构

消息模型、分区与副本机制、生产者与消费者原理、集群部署要点。

HBase核心概念与架构

数据模型（RowKey、Column Family）、RegionServer架构、读写流程与设计思想。

实时数据产品环境搭建

Flink集群部署（Standalone/YARN）、Kafka与HBase集群搭建，依赖组件（ZooKeeper、HDFS）配置。

Flink作业开发与提交

DataStream API基础、Source/Sink定义、作业打包与提交（CLI/Web UI）、参数调优实践。

Kafka生产与消费实践

生产者配置与优化、消费者组与偏移量管理、消息序列化与反序列化方案。

HBase数据操作实践

Shell操作、Java API读写、批量导入（BulkLoad）、RowKey设计原则与案例。

实时数据链路集成

Flink+Kafka Exactly-Once语义、Flink+HBase维表关联与结果写入、端到端延迟优化策略。

监控体系搭建

Flink Metrics与Prometheus+Grafana监控、Kafka监控（JMX/Burrow）、HBase监控（UI/Ganglia）。

日志与告警管理

Flink日志配置与ELK采集、Kafka日志分析、基于延迟/吞吐量/错误率的告警规则设计。

Flink作业性能调优

并行度设置、算子链与资源分配、状态后端选择（RocksDB/Heap）、Checkpoint与Savepoint优化。

Kafka性能调优

分区数设计、消息大小与批处理、磁盘I/O优化、网络线程模型调优实践。

HBase性能调优

Region拆分与合并、MemStore与BlockCache调优、Compaction策略、读写性能优化。

常见故障排查与处理

Flink作业失败重启策略、Kafka消息积压处理、HBase Region热点、数据倾斜问题解决。

数据一致性保障

Flink Exactly-Once实现原理、Kafka幂等性与事务、HBase原子性操作、端到端一致性方案。

一致性事务

数据质量监控

数据延迟监控、丢失检测、重复检测、完整性校验方法与工具实践。

容量规划与扩缩容

Flink集群扩缩容策略、Kafka分区重分配、HBase Region负载均衡、资源预估模型。

安全与权限管理

Flink安全配置（Kerberos/SSL）、Kafka ACL与SASL、HBase权限控制（ACL/Visibility Labels）。

灾备与高可用设计

Flink高可用（ZooKeeper）、Kafka跨机房复制（MirrorMaker）、HBase Replication、数据备份恢复。

灾备高可用

CI/CD与自动化运维

Flink作业自动化部署（Jenkins/ArgoCD）、Kafka配置管理（Ansible）、HBase自动化运维脚本。

实时数据产品版本升级

Flink版本升级注意事项、Kafka滚动升级、HBase升级与兼容性、回滚方案设计。

资源管理与调度

Flink资源队列（YARN/Kubernetes）、Kafka Broker资源隔离、HBase资源限制（CGroup）。

数据生命周期管理

Flink状态过期策略（TTL）、Kafka日志保留策略、HBase TTL与数据归档、冷热数据分离。

生命周期存储

实时数据产品测试

Flink单元测试（TestHarness）、Kafka集成测试（EmbeddedKafka）、HBase测试（MiniCluster）、端到端测试。

运维工具与平台建设

Flink作业管理平台、Kafka运维工具（Kafka Manager/CMAK）、HBase Admin、自研运维平台设计。

实时数据产品成本优化

Flink资源利用率优化、Kafka存储成本控制、HBase压缩与编码优化、云原生成本管理。

实时数据产品最佳实践

Flink作业设计模式、Kafka Topic设计规范、HBase表设计规范、运维SOP文档编写。

最佳实践规范

实时数据产品故障演练

故障注入方法、应急预案制定、故障复盘流程、混沌工程实践与演练。

实时数据产品运维趋势与展望

云原生实时计算（Flink on K8s）、Serverless Kafka、HBase与NewSQL融合、AI for Ops。