VIP20

本课程属于：059-后端可观测性Kafka堆积诊断 Web后端与企业应用开发 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka堆积诊断：OpenTelemetry链路追踪实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka堆积问题的背景与挑战 · OpenTelemetry在可观测性… · 课程目标与学习路径

课程导学Kafka

Kafka核心概念回顾

Topic · Partition · Offset

Kafka核心概念回顾

消息堆积的本质

生产速率与消费速率失衡 · 堆积的度量指标（Lag） · 堆积对系统的影响

消息堆积的本质生产速率

常见堆积原因分析（上）

消费者处理能力不足 · 慢消费 · GC停顿

常见堆积原因分析消费者处理能力不…

常见堆积原因分析（下）

分区分配不均 · Rebalance频繁 · 网络延迟与带宽瓶颈

常见堆积原因分析分区分配不均

传统堆积诊断方法的局限

日志排查的痛点 · 指标监控的盲区 · 缺乏端到端视角

传统堆积诊断方法…日志排查的痛点

OpenTelemetry简介

OTel的三大信号（Traces · Metrics · Logs）

OpenTelemetr…简介

OpenTelemetry与Kafka的集成原理

Producer/Consumer的… · Context传播 · 消息头注入

OpenTelemetr…Kafka

搭建Kafka集群（Docker C… · 安装OpenTelemetry Co… · 配置Jaeger/ Tempo后端

环境准备Kafka

Java Producer端埋点

使用OTel Java Agent自… · 配置Kafka Producer的I…

Java Consumer端埋点

使用OTel Java Agent自… · 配置Kafka Consumer的I…

手动埋点进阶

自定义Span · 添加业务属性（消息体大小 · 处理耗时）

手动埋点进阶Span

消息上下文传播

Headers Propagatio… · W3C Trace Context标… · 跨服务链路串联

消息上下文传播Headers

OpenTelemetry Collector配置

Receivers（Kafka Re… · Processors（Batch · Attributes）

OpenTelemetr…Collector

链路数据采集与导出

Trace数据流（Producer… · 采样策略（Head-based · Tail-based）

链路数据采集导出

搭建可视化平台

Jaeger UI的使用 · Tempo + Grafana集成 · Trace查询与搜索

搭建可视化平台Jaeger

基于Trace的堆积诊断（一）

识别慢Consumer Span · 定位处理瓶颈方法

基于Trace的堆积诊断（二）

分析Rebalance期间的Span · 检测Rebalance耗时

基于Trace的堆积诊断（三）

追踪网络延迟Span · 区分客户端与服务端耗时

基于Trace的堆积诊断（四）

检测GC停顿对消费的影响 · 关联JVM Metrics

Metrics与Trace的关联

使用OTel Metrics暴露Co… · 将Lag指标与Trace关联分析

Logs与Trace的关联

使用OTel Logs记录消费异常 · 通过Trace ID关联日志与链路

实战案例一

单分区堆积——定位慢SQL导致的消费…

实战案例一SQL

实战案例二

全分区堆积——定位下游服务雪崩导致的…

实战案例二全分区堆积

实战案例三

间歇性堆积——定位Rebalance…

实战案例三Rebalance

实战案例四

跨集群堆积——定位网络链路中的丢包与…

实战案例四跨集群堆积

告警与自动化诊断

基于Lag指标设置告警 · 通过Trace自动触发根因分析（RC…

告警自动化诊断

性能优化建议

调整Consumer参数（max.p… · fetch.max.bytes） · 优化业务处理逻辑

性能优化建议Consumer

最佳实践总结

埋点规范 · 采样策略选择 · 存储成本控制

最佳实践总结埋点规范

课程总结与展望

Kafka可观测性未来趋势 · eBPF与OTel的结合 · Serverless Kafka的监…

课程总结Kafka