1. 课程导论：为什么需要关注尾延迟？限流与压测的关系，课程目标与前置知识
1.1 为什么需要关注尾延迟？
在分布式系统中，单个请求的延迟分布往往遵循长尾分布。绝大多数请求可能在毫秒级完成，但少量请求的延迟会飙升到秒级甚至更高。这种“尾部延迟”（Tail Latency）是影响用户体验和系统稳定性的关键因素。
核心观点： 平均延迟（Avg Latency）掩盖了真实问题。一个系统平均延迟 10ms，但 P99 延迟可能高达 2s。对于需要聚合多个微服务响应的场景，尾延迟会叠加放大，导致整体响应超时。
尾延迟的典型成因包括：
- 资源争抢： CPU 调度、内存分配、锁竞争导致部分请求被阻塞。
- 垃圾回收（GC）： Go 的 STW（Stop The World）暂停会引发瞬时延迟尖刺。
- 网络抖动： TCP 重传、连接池耗尽、慢启动。
- 负载不均衡： 部分节点过载，导致请求排队。
| 延迟指标 | 含义 | 关注价值 |
|---|---|---|
| Avg (平均) | 所有请求延迟的算术平均 | 容易掩盖异常，不敏感 |
| P50 (中位数) | 50% 请求在此延迟以下 | 反映典型体验 |
| P99 (99分位) | 99% 请求在此延迟以下 | 核心关注点： 1% 的慢请求 |
| P999 (99.9分位) | 99.9% 请求在此延迟以下 | 极端异常，影响 SLA |
实战经验： 在 Go 微服务中，P99 延迟超过 500ms 通常意味着需要立即介入诊断。压测时如果只观察平均延迟，可能会漏掉 GC 或锁竞争导致的间歇性尾延迟。
1.2 限流与压测的关系
限流（Rate Limiting）和压测（Load Testing）是保障分布式系统稳定性的两个互补手段。限流是防御机制，压测是探测手段。两者结合才能有效控制尾延迟。
| 维度 | 限流 | 压测 |
|---|---|---|
| 目标 | 保护系统不被过载 | 探测系统容量与瓶颈 |
| 触发方式 | 实时流量控制 | 离线/预发模拟 |
| 关注指标 | 拒绝率、排队长度 | 吞吐量、延迟分布 |
| 与尾延迟关系 | 防止过载导致尾延迟恶化 | 暴露尾延迟的真实分布 |
常见误区： 很多团队只做压测，不做限流，导致线上流量尖峰时系统雪崩；或者只做限流，不做压测，导致限流阈值设置不合理（过高或过低）。本课程强调两者联动诊断。
1.3 课程目标
本课程旨在帮助 Go 开发者掌握一套完整的“压测-诊断-限流”闭环方法论。学完本课程后，你将能够：
- 设计科学的压测方案： 针对 Go 服务的特点，构造能暴露尾延迟的压测场景。
- 精准诊断尾延迟根因： 使用 Go pprof、trace、pprof 等工具定位 GC、锁、调度等瓶颈。
- 实现高效的限流策略： 基于压测数据设置合理的限流阈值，避免过载导致尾延迟恶化。
- 建立持续优化机制： 将压测和限流集成到 CI/CD 流水线中，防止回归。
1.4 前置知识
为了获得最佳学习体验，建议你具备以下基础：
| 领域 | 具体要求 |
|---|---|
| Go 语言基础 | 熟悉 goroutine、channel、sync 包，能编写简单的 HTTP 服务 |
| HTTP 协议 | 理解请求/响应模型、状态码、超时设置 |
| 基础运维 | 能使用命令行、查看 CPU/内存指标 |
| 压测工具 | 了解 wrk、hey 或 vegeta 的基本用法（非必须，课程会讲解） |
学习建议： 每章都配有可运行的 Go 代码示例和压测脚本。建议你准备好 Go 1.20+ 开发环境，并安装 hey 或 vegeta 压测工具。动手实践是掌握尾延迟诊断的关键。