1. 课程导论：什么是尾延迟？为什么连接池线程模型会影响尾延迟？
1.1 什么是尾延迟？
尾延迟（Tail Latency）是指分布式系统中，请求响应时间分布中排在末尾的延迟指标。通常以 P99（99th Percentile）、P99.9 或 P99.99 来衡量。它代表系统中“最慢的那一小部分请求”的耗时，而非平均延迟。
核心认知： 平均延迟掩盖了系统真实体验。当 99% 的请求在 10ms 内完成，但 1% 的请求耗时超过 1s 时，这 1% 的“长尾”会直接导致用户超时、服务雪崩、SLA 违约。
| 指标 | 含义 | 典型阈值（高可用系统） |
|---|---|---|
| P50（中位数） | 一半请求在此时间内完成 | < 5ms |
| P99 | 99% 的请求在此时间内完成 | < 50ms |
| P99.9 | 99.9% 的请求在此时间内完成 | < 200ms |
| P99.99 | 尾延迟核心关注点 | < 1s |
1.2 为什么连接池线程模型会影响尾延迟？
连接池和线程模型是服务端处理请求的“管道系统”。当管道设计不合理时，会出现以下典型问题，直接推高尾延迟：
- 线程阻塞（Blocking）： 固定线程池中，一个慢请求占住线程，后续请求排队等待，导致 P99 急剧恶化。
- 连接饥饿（Connection Starvation）： 连接池大小设置过小，或获取连接时发生锁竞争，请求在池外等待，形成长尾。
- 上下文切换风暴： 线程数过多导致 CPU 大量消耗在切换而非业务计算上，延迟分布变宽。
- IO 模型不匹配： 同步阻塞 IO（BIO）在高并发下容易堆积；异步非阻塞 IO（NIO/AIO）配合合理线程模型能有效压缩尾延迟。
调优直觉： 尾延迟的根源往往不是“平均负载高”，而是“局部排队 + 资源争抢”。连接池和线程模型决定了争抢的激烈程度。
1.3 课程目标
通过本课程，你将掌握以下核心能力：
| 目标维度 | 具体内容 |
|---|---|
| 理论理解 | 透彻理解尾延迟的成因、度量方法及其与连接池/线程模型的关系 |
| 压测能力 | 设计针对尾延迟的压测方案，正确采集 P99/P99.9 指标 |
| 调优实战 | 通过切换连接池模型（固定/弹性/异步）和线程模型（BIO/NIO/协程），对比尾延迟变化 |
| 验证闭环 | 建立“压测 → 分析 → 调优 → 再压测”的量化验证流程 |
1.4 前置知识
学习本课程前，建议具备以下基础：
- Java 并发编程基础： 理解 ThreadPoolExecutor、Future、CompletableFuture 等核心 API。
- 网络 IO 模型： 了解 BIO、NIO、AIO 的基本区别。
- 压测工具使用： 至少熟悉 JMeter、wrk、ab 或 Gatling 中的一种。
- 基本性能指标： 理解 QPS、TPS、RT、P99 等术语。
注意： 本课程不从头讲解线程池或连接池的基础用法，而是聚焦于“模型切换”对尾延迟的量化影响。如果你对 ThreadPoolExecutor 参数配置尚不熟悉，建议先补充基础并发知识。