VIP20
本课程属于：059-后端可观测性Kafka堆积诊断 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Kafka堆积场景下慢查询与结构化日志采集实践

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
Kafka堆积场景的定义 · 慢查询与结构化日志采集的重要性 · 课程目标与受众
课程导论Kafka
02
Kafka核心架构回顾
Broker · Topic · Partition
Kafka核心架构回顾
03
消息堆积的成因分析
生产者发送过快 · 消费者消费过慢 · 分区分配不均
消息堆积的成因分…生产者发送过快
04
堆积场景下的典型慢查询特征
Fetch请求延迟增加 · Offset提交超时 · Consumer Rebalance…
堆积场景下的典型…Fetch
05
慢查询的定位方法
使用kafka-consumer-g… · 使用JMX监控指标 · 查看Broker端Request日志
慢查询的定位方法kafka-consum…
06
结构化日志的概念与优势
什么是结构化日志 · 与普通文本日志的区别 · JSON/AVRO格式
结构化日志的概念优势
07
Kafka日志体系介绍
server.log · request.log · controller.log
Kafka日志体系介绍
08
日志采集架构设计
Agent端（Filebeat/Lo… · 传输层（Kafka自身） · 存储层（Elasticsearch）
日志采集架构设计Agent
09
Filebeat采集Kafka日志实战
Filebeat安装 · 配置多行日志合并 · 输出到Elasticsearch或K…
FilebeatKafka
10
Logstash采集与过滤实战
Logstash pipeline配… · grok正则解析 · mutate插件字段处理
Logstash采集
11
Kafka Connect用于日志采集
Source Connector读取… · Sink Connector写入ES · 单机与分布式模式
KafkaConnect
12
慢查询日志的字段设计
timestamp · broker_id · client_id
慢查询日志的字段…timestamp
13
基于JMX的慢查询指标采集
MBean对象 · RequestMetrics · ConsumerMetrics
JMX基于
14
堆积场景下Consumer Lag的深度监控
Lag计算原理 · Lag与慢查询的关联 · 设置Lag告警阈值
ConsumerLag
15
慢查询日志的聚合分析
按Topic聚合 · 按Client ID聚合 · 按时间窗口聚合
慢查询日志的聚合…Topic
16
使用Elasticsearch存储结构化日志
索引模板设计 · Mapping优化 · 分片策略
Elasticsearc…使用
17
Kibana可视化慢查询仪表盘
创建索引模式 · 柱状图展示延迟分布 · 折线图展示Lag趋势
Kibana可视化慢查询仪表…
18
Grafana与Prometheus集成
Prometheus采集JMX指标 · Grafana数据源配置 · 自定义Dashboard面板
GrafanaPrometheus
19
堆积场景下的告警策略
基于Lag阈值的告警 · 基于延迟百分位数的告警 · 基于Rebalance频率的告警
堆积场景下的告警…Lag
20
慢查询根因分析实战案例一
消费者代码问题（处理逻辑耗时 · 批量大小不合理 · 无幂等重试）
慢查询根因分析实…消费者代码问题
21
慢查询根因分析实战案例二
Broker端配置问题（num.ne… · replica.fetch.max.… · 磁盘类型为HDD）
慢查询根因分析实…Broker
22
慢查询根因分析实战案例三
网络与分区问题（跨机房延迟 · 分区Leader分布不均 · Ack机制设置不当）
慢查询根因分析实…网络
23
结构化日志采集的优化技巧
日志轮转策略 · 异步Appender · 避免日志丢失
结构化日志采集的…日志轮转策略
24
日志采集管道的容错与高可用
Filebeat背压机制 · Logstash持久队列 · Kafka副本机制
日志采集管道的容…高可用
25
大规模集群下的日志采集实践
多Agent负载均衡 · 日志采样策略 · 降低采集对业务的影响
大规模集群下的日…Agent
26
慢查询日志的自动化治理
基于规则自动调整Consumer参数 · 自动触发Rebalance · 自动扩容Partition
慢查询日志的自动…Consumer
27
课程实战环境搭建
Docker Compose部署Ka… · 部署Filebeat+Logstas… · 模拟堆积场景脚本
课程实战环境搭建Docker
28
端到端实战演练
模拟生产者高负载 · 观察Consumer Lag增长 · 采集慢查询日志
端到端实战演练模拟生产者高负载
29
课程总结
核心知识点回顾 · 常见误区与避坑指南 · 最佳实践清单
课程总结核心知识点回顾
30
扩展与展望
Kafka 3.x新特性对慢查询的改… · eBPF技术在日志采集中的应用 · AIops智能根因分析
扩展Kafka