容错模式之二：超时控制
超时控制是分布式系统中防止资源耗尽、避免级联失败的基础容错手段。它通过为跨网络调用设定时间预算，在超出阈值时主动放弃等待，快速释放线程、连接、内存等稀缺资源，从而保护系统的高可用边界。
系统边界
超时控制的防御边界位于调用方（客户端）与提供方（服务端）之间的网络交互接口上。它覆盖所有同步、半同步及通过连接池发起的异步请求，包括：
- 进程内边界：线程池任务提交、Future.get() 等待。
- 进程间边界：HTTP/gRPC 调用、数据库连接、消息队列生产/消费、缓存读取。
- 基础设施边界：DNS 解析、负载均衡健康检查、代理转发。
系统必须在每个边界上独立定义超时策略，避免单一故障穿透整个调用链。
分层结构
超时控制按网络协议栈和业务调用链可划分为以下四层：
| 层次 | 粒度 | 典型对象 |
|---|---|---|
| 传输层 | TCP 连接建立 | connect timeout |
| 协议层 | 单次请求-响应 | read timeout, write timeout |
| 业务层 | RPC 调用全过程 | 总超时 (total timeout) |
| 治理层 | 超时策略组合 | 超时堆叠、动态调优 |
各层之间形成递进约束：连接超时 < 读取超时 < 总超时，且需保留合理的缓冲窗口。
组件职责
- 连接管理器：负责 socket 创建阶段的超时检测，超时后立即关闭 socket 并归还连接池。
- 读写调度器：为每个 I/O 操作启动独立计时器，超时时触发回调，中断当前调用。
- 超时堆叠器：整合多个子调用的超时预算，确保整体超时不大于父级剩余时间。
- 动态调优引擎：基于历史延迟分布（P50/P90/P99）周期性调整超时阈值，实现自适应容错。
数据流 / 控制流 / 信任链路
- 数据流：请求数据经过连接建立、数据写入、数据读取三个阶段，每个阶段都有独立的超时信号。
- 控制流：计时器到期 → 中断 I/O → 抛出超时异常 → 触发断路器/重试/降级。
- 信任链路：下游服务响应时间必须在声明的 SLA 范围内；超时阈值取 SLA 的 1.3~2 倍，避免误判。
关键风险：若下游服务自身有重试机制，上游超时可能引发重试风暴，导致流量放大。必须统一超时堆叠策略，限制重试次数并设置递进超时。
实践建议：连接超时不宜超过 1~3s，读取超时通常为 5~30s，写超时因缓冲区大小而异一般设为 1~5s。动态调优初始值可从固定阈值开始，待积累足够延迟数据后再切换。
选型权衡
| 维度 | 固定超时 | 动态超时 |
|---|---|---|
| 实现复杂度 | 低，仅需配置常量 | 高，需采集指标、计算分位数 |
| 适用场景 | 稳定、低抖动网络 | 高延迟波动、长尾请求 |
| 误判率 | 易漏判或误判 | 通过滑动窗口自适应优化 |
| 资源占用 | 无额外开销 | 需存储历史延迟窗口 |
风险点
- 超时堆叠过深：每次调用都设置独立超时，累加后超出整体 SLA，导致大量超时异常。
- 动态调优震荡：阈值随流量突发剧烈变化，造成频繁超时或全部放行。
- 写超时被忽略：多数框架默认只检查读超时，写超时可能导致生产者积压。
- 计时器精度：高并发下计时器发生漂移，需使用高精度时钟和异步 I/O。
落地步骤
- 梳理所有外部调用点，识别连接、读取、写三个阶段。
- 为每个阶段配置保守的超时值（如连接 2s、读取 10s、写 5s）。
- 实现超时堆叠：调用链中每跳的超时预算 = 总剩余时间 / 剩余跳数。
- 接入延迟监控（P50/P90/P99），设置动态调优窗口（默认 60s）。
- 灰度发布，对比成功率、调用延迟、错误率，逐步收敛阈值。
- 配置 fallback 策略：超时后优先降级（返回缓存/默认值），而非立即重试。
验收标准
- 所有外部调用均配置连接超时、读取超时、写超时，无遗漏。
- 超时堆叠后整体调用耗时不超过上游 SLA 的 95%。
- 动态调优引擎在 5 分钟内收敛稳定值，震荡幅度 < 20%。
- 超时错误率低于 0.1%，无因超时导致的死锁或资源泄漏。
超时控制体系结构
核心原则：超时控制不是越短越好，需结合业务容忍度与下游真实性能。动态调优通过算法（如 EWMA、滑动窗口分位数）自动平衡请求成功率与响应延迟，是生产环境的首选方案。