1. 课程导学：Kafka堆积问题的背景与挑战、OpenTelemetry在可观测性中的角色、课程目标与学习路径

1.1 Kafka堆积问题的背景与挑战

在实时数据管道与事件驱动架构中，Apache Kafka 已成为核心消息中间件。然而，随着业务规模增长，消息堆积（Message Backlog / Lag） 成为运维人员最频繁面对的棘手问题。堆积不仅意味着数据延迟，更可能引发系统雪崩、数据不一致甚至业务中断。

堆积问题的典型场景

• 消费端处理能力不足：消费者组内某个分区消费者宕机或处理逻辑变慢，导致该分区 Lag 持续增长。
• Broker 端瓶颈：磁盘 I/O 饱和、网络带宽受限或 Page Cache 抖动，影响消息拉取效率。
• Rebalance 风暴：频繁的消费者组重平衡导致消费停滞，堆积瞬时飙升。
• 上游生产端突发流量：促销活动或数据回刷导致 Topic 写入速率远超消费能力。

传统诊断方式的痛点

1.2 OpenTelemetry在可观测性中的角色

OpenTelemetry（简称 OTel）是 CNCF 孵化的可观测性标准框架，它统一了链路追踪（Traces）、指标（Metrics）和日志（Logs）三大信号的采集与导出规范。在 Kafka 堆积诊断场景中，OTel 扮演着数据桥梁和上下文粘合剂的角色。

OTel 解决堆积诊断的核心能力

• 端到端 Trace 关联：将 Producer → Broker → Consumer 的完整调用链串联为一条 Trace，精确计算每个环节的耗时。
• Span 属性注入：在 Span 中携带 Topic、Partition、Offset、消息 Key 等 Kafka 元数据，实现按维度下钻。
• 指标与 Trace 联动：通过 Exemplar 机制将 Lag 指标与具体 Trace 样本绑定，快速定位异常请求。
• 多语言统一 SDK：Java、Go、Python、Node.js 等主流语言均可接入，适配异构微服务架构。

1.3 课程目标与学习路径

课程核心目标

• 掌握 OTel 在 Kafka 场景的埋点规范：包括 Producer/Consumer 拦截器配置、Span 上下文传播、消息头注入。
• 构建堆积诊断的 Trace 分析模型：学会从 Trace 中识别生产端阻塞、网络延迟、消费端处理慢等根因模式。
• 实现指标与 Trace 的联动告警：基于 Lag 指标触发 Trace 采样，自动保留异常时刻的完整调用链。
• 落地生产级可观测性方案：涵盖 Collector 部署、采样策略、存储选型与成本控制。

学习路径与章节规划

前置知识要求

• 熟悉 Kafka 基本概念（Topic、Partition、Consumer Group、Offset）。
• 了解微服务架构与 REST/gRPC 调用链基础。
• 具备 Java 或 Go 语言基础（课程代码以 Java 为主，附带 Go 示例）。