1. 课程导论：Kafka事务与结构化日志的背景、课程目标与学习路径
1.1 为什么需要关注Kafka事务与结构化日志？
在分布式系统中，数据一致性、消息可靠性与可观测性是三大核心挑战。Apache Kafka 作为事实上的事件流平台，其事务（Transaction）机制解决了跨分区、跨主题的原子写入问题，而结构化日志（Structured Logging）则为系统提供了可查询、可关联的运行时快照。当两者在中间件层面集成时，能够构建出既具备强一致性边界、又拥有深度可观测性的数据管道。
核心痛点： 传统日志系统与事务系统各自为政，导致故障排查时无法将“事务提交/回滚”与“日志记录”关联，造成数据不一致的盲区。
本课程将深入探讨如何在中间件（如 Kafka Connect、自定义 Source/Sink Connector、流处理应用）中，将 Kafka 事务的精确一次语义（EOS）与结构化日志的上下文传播、链路追踪、指标聚合进行统一集成。
1.2 课程目标
完成本课程后，学员将能够：
- 理解 Kafka 事务核心原理： 事务协调器、事务日志、隔离级别（read_committed）、事务状态机。
- 掌握结构化日志设计模式： 日志上下文（MDC）、结构化字段（traceId, spanId, transactionId）、日志聚合（ELK/Loki）。
- 实现事务边界与日志的绑定： 在 Kafka Producer/Consumer 事务中嵌入日志上下文，确保日志与事务生命周期一致。
- 构建可观测性中间件： 设计能够自动捕获事务状态、延迟、错误并输出结构化日志的中间件层。
- 实战集成： 在 Spring Boot、Quarkus 或纯 Java 应用中，集成 Kafka 事务与结构化日志框架（Logback/Log4j2 + OpenTelemetry）。
1.3 知识体系与学习路径
本课程共分为 6 个模块，30 个章节，从基础概念到高级集成，逐步深入。
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 模块一：基础与背景 | 第 1-5 章 | Kafka 事务原理、结构化日志基础、中间件架构概览 |
| 模块二：事务边界设计 | 第 6-12 章 | 事务 API 详解、事务状态机、幂等性与事务协调器 |
| 模块三：结构化日志引擎 | 第 13-18 章 | 日志上下文传播、MDC 与事务 ID 绑定、日志采样与降级 |
| 模块四：中间件集成模式 | 第 19-24 章 | Kafka Connect 集成、流处理集成、事务日志拦截器 |
| 模块五：可观测性实战 | 第 25-28 章 | OpenTelemetry 集成、指标暴露、链路追踪与事务关联 |
| 模块六：案例与最佳实践 | 第 29-30 章 | 金融级事务日志案例、性能调优、避坑指南 |
学习建议： 建议学员先掌握 Kafka 基础 API（Producer/Consumer）和 Java 日志框架（SLF4J + Logback），再进入本课程。每个章节末尾都配有可运行的代码示例。
1.4 核心概念关系图
下图展示了 Kafka 事务、结构化日志与中间件三者之间的核心关系与数据流：
1.5 课程特色与预备知识
课程特色：
- 每个章节均包含可运行的代码示例（Java 17+ / Spring Boot 3.x）。
- 提供完整的 Docker Compose 环境（Kafka 3.5+、ZooKeeper/KRaft、ELK）。
- 对比多种集成方案（拦截器 vs. 装饰器 vs. AOP），分析性能与复杂度。
- 包含生产环境踩坑案例（事务超时、日志丢失、上下文泄漏）。
预备知识要求：
- 熟悉 Kafka 基础概念（Topic、Partition、Producer、Consumer）。
- 掌握 Java 日志框架（SLF4J + Logback 或 Log4j2）。
- 了解分布式系统基本概念（CAP、一致性、幂等性）。
- 建议具备 Spring Boot 或 Quarkus 基础开发经验。
1.6 一个简单的日志上下文示例
在后续章节中，我们将频繁使用类似下面的结构化日志模式。这里先给出一个预览：
// 在事务边界内设置日志上下文
try {
// 开启 Kafka 事务
producer.beginTransaction();
// 设置 MDC 上下文，包含事务 ID
MDC.put("transactionId", "txn-12345");
MDC.put("traceId", "trace-abc");
// 发送消息（事务内）
producer.send(record);
// 提交事务
producer.commitTransaction();
// 输出结构化日志
log.info("Transaction committed successfully");
} catch (Exception e) {
// 回滚事务
producer.abortTransaction();
// 输出错误日志，上下文自动携带 transactionId
log.error("Transaction failed", e);
} finally {
// 清理上下文
MDC.clear();
}上述代码中，transactionId 和 traceId 会被自动注入到每一条日志中，形成可关联、可查询的结构化日志流。