📚 课程目录第1章课程导论

1. 课程导论：尾延迟与速率限制的定义、为什么在压测中需要治理速率限制、课程目标与学习路径

在分布式系统中，尾延迟（Tail Latency） 指服务响应时间分布中处于末尾百分位的延迟，通常以 P99（99th 百分位）、P99.9 甚至 P99.99 来衡量。平均延迟（Avg Latency）会掩盖大量慢请求的存在，而尾延迟直接决定了用户体验的“最差感受”和系统的稳定性边界。

指标	含义	典型阈值（在线服务）	对用户的影响
P50（中位数）	半数请求在此时间内完成	< 50ms	大部分用户感觉流畅
P99	99% 的请求在此时间内完成	< 200ms	1% 的用户感知到卡顿
P99.9	99.9% 的请求在此时间内完成	< 500ms	0.1% 的用户体验严重受损
P99.99	几乎全部请求的完成时间	< 1s	极端场景下的熔断边界

  关键认知： 尾延迟是分布式系统“长尾效应”的直接体现。微服务调用链中，任意一个上游节点的抖动都会被放大并传递到下游，形成“延迟放大”现象。压测中如果只关注平均吞吐，忽略尾延迟，上线后必然出现“系统指标正常，用户频繁超时”的困境。

速率限制（Rate Limiting） 是一种通过控制请求流入速率来保护系统稳定性的机制。在压测场景中，速率限制不是业务功能，而是压测治理的核心手段——它决定了“以多快的速度向被测系统施加压力”，以及“当系统出现异常时如何降级”。

速率限制算法	核心原理	典型应用场景	尾延迟影响
令牌桶（Token Bucket）	固定速率生成令牌，请求消耗令牌	API 网关、微服务限流	平滑突发，减少抖动
漏桶（Leaky Bucket）	固定速率处理请求，超出则排队或丢弃	消息队列、数据库连接池	强制削峰，可能增加排队延迟
滑动窗口（Sliding Window）	基于时间窗口的请求计数	分布式限流、多节点协调	精确控制，避免毛刺
自适应限流（Adaptive）	根据系统负载动态调整速率	全链路压测、弹性伸缩	主动保护，降低尾延迟概率

压测视角： 速率限制在压测中扮演“油门”和“刹车”的双重角色。没有速率限制的压测是“失控的暴力测试”，无法复现真实流量特征，更无法定位尾延迟根因。

在分布式系统压测中，速率限制治理不是可选项，而是压测有效性的前提。以下四个核心原因决定了它的必要性：

避免压测工具本身成为瓶颈： 无限制的请求发送会导致压测客户端 OOM、网络连接耗尽，压测结果失真。
模拟真实流量特征： 生产环境的流量是“有节奏的突发+平稳”，而非恒定高压。速率限制可以构造符合真实分布的请求模式。
防止“死狗效应”（Thundering Herd）： 压测中一旦系统出现抖动，无限制的重试会瞬间放大流量，导致系统雪崩。速率限制提供“优雅降级”的缓冲。
精准定位尾延迟根因： 只有通过速率限制控制变量，才能区分“尾延迟是由过载引起”还是“由代码缺陷/资源竞争引起”。

本课程旨在培养学员在分布式系统压测中设计、实施和优化速率限制治理方案的实战能力。课程覆盖从理论到工程落地的完整闭环。

学习前置要求： 建议学员具备分布式系统基础（微服务架构、RPC 通信）、至少一种编程语言（Go/Java/Python）的工程经验，以及基本的压测工具使用经验（如 wrk、locust、k6）。本课程不讲解基础编程语法和压测工具安装。

通过本课程的学习，你将能够：