1. 课程导论：分布式追踪与MTTR的关系、Tempo在可观测性中的定位、课程目标与学习路径
1.1 分布式追踪：从“黑盒”到“白盒”的故障定位
在微服务架构中，一个用户请求往往跨越数十甚至上百个服务节点。当故障发生时，传统的日志和指标监控只能告诉你“系统出错了”，却无法回答“错误发生在哪个环节”以及“为什么延迟”。分布式追踪通过为每个请求注入唯一的 Trace ID，串联起所有经过的服务、数据库、消息队列，形成端到端的调用链视图，从而将故障定位从“黑盒猜测”转变为“白盒分析”。
核心价值：分布式追踪是缩短 MTTR（Mean Time to Resolve，平均修复时间）的关键技术手段。它让运维和开发人员能够快速找到性能瓶颈和错误根因，避免在多个服务间反复排查。
1.2 MTTR 复盘口径：为什么需要“加速”？
MTTR 是衡量故障恢复效率的核心指标，通常包含四个阶段：
| 阶段 | 定义 | 传统痛点 | 分布式追踪优化点 |
|---|---|---|---|
| MTTI（识别） | 从故障发生到被监控系统发现 | 依赖阈值告警，误报率高 | 基于 Trace 的异常检测，精准定位异常请求 |
| MTTK（定位） | 从发现到确定根因服务/代码 | 人工翻阅日志，耗时数小时 | 调用链拓扑 + Span 标签，分钟级定位 |
| MTTF（修复） | 从定位到完成修复 | 缺乏上下文，修复方案不准确 | Trace 数据辅助回放，精准复现问题 |
| MTTV（验证） | 从修复到确认恢复 | 手动验证，覆盖不全 | 自动化 Trace 对比，验证全链路正常 |
本课程聚焦于 MTTK（定位） 阶段的优化，通过 Tempo 的高效检索能力，将定位时间从小时级压缩到分钟级甚至秒级。
1.3 Tempo 在可观测性中的定位
Grafana Tempo 是一款高可用、低成本、与 Grafana 深度集成的分布式追踪后端。它在可观测性“三大支柱”中扮演着独特的角色：
- 与 Metrics（指标）的关系： Tempo 不存储指标，但可以通过 Trace ID 与 Prometheus 指标关联，实现“指标发现异常，Trace 定位根因”。
- 与 Logs（日志）的关系： Tempo 不存储日志，但支持通过 Trace ID 与 Loki 日志关联，实现“日志查看详情，Trace 串联上下文”。
- 核心定位： 作为追踪数据的存储与检索引擎，Tempo 专注于解决海量 Span 数据的写入、存储和快速查询问题，尤其擅长处理高基数（High Cardinality）的标签查询。
架构优势： Tempo 采用对象存储（如 S3、GCS）作为后端，无需维护复杂的索引集群，大幅降低了运维成本。同时，其“Trace by ID”和“Search”两种检索模式，分别应对精确查找和模糊搜索场景。
1.4 课程目标与学习路径
本课程旨在帮助学员掌握 Tempo 检索优化的核心技能，实现 MTTR 复盘口径的快速落地。学习路径分为四个阶段：
- 基础篇（第1-5章）： 理解分布式追踪原理、Tempo 架构与部署、数据模型与采样策略。
- 检索篇（第6-15章）： 深入 Tempo 的查询语言（TraceQL）、索引机制、缓存策略与性能调优。
- 实践篇（第16-25章）： 结合 Grafana 面板、告警规则、自动化运维，构建端到端的 MTTR 复盘流程。
- 进阶篇（第26-30章）： 大规模集群优化、成本控制、自定义插件开发与生产环境最佳实践。
通过本课程，你将能够：
- 独立部署并配置生产级 Tempo 集群。
- 编写高效的 TraceQL 查询，秒级定位故障根因。
- 设计基于 Tempo 的 MTTR 复盘仪表盘，量化故障恢复效率。
- 优化 Tempo 检索性能，应对每日 TB 级追踪数据。
1.5 课程适用人群与前置知识
| 角色 | 关注点 | 前置要求 |
|---|---|---|
| SRE / 运维工程师 | 降低 MTTR，提升系统可靠性 | 了解 Prometheus、Grafana 基础 |
| 后端开发工程师 | 快速定位代码级性能瓶颈 | 熟悉微服务架构、HTTP/gRPC 协议 |
| 可观测性平台工程师 | 设计并优化追踪基础设施 | 有分布式系统、对象存储使用经验 |
注意： 本课程假设学员已具备基本的 Docker/Kubernetes 操作能力。如果你对容器编排不熟悉，建议先学习相关基础课程。