4. TCP四次挥手与并发：TIME_WAIT堆积问题
说到TCP的四次挥手，很多开发同学觉得这不过是连接关闭的标准流程，没什么好讲的。但在我多年的后端架构和性能调优经历中，TIME_WAIT堆积恰恰是导致服务并发上不去、端口耗尽、甚至整个服务假死的头号元凶之一。
说白了，四次挥手本身不复杂，复杂的是它留下的那个“尾巴”——TIME_WAIT状态。如果处理不好，你的服务就像一个人每次打完电话都不挂断，占着线路不放。时间一长，所有线路都被占满了，新电话就打不进来了。
核心观点： TIME_WAIT不是Bug，它是TCP协议为了保证可靠性而设计的机制。但在高并发短连接场景下，它会成为性能瓶颈。理解它、监控它、优化它，是每个后端工程师的必修课。
4.1 四次挥手：谁先挥手谁倒霉？
先快速回顾一下四次挥手的过程。假设客户端主动发起关闭：
- FIN（客户端→服务端）： 客户端说“我发完了，准备关闭”。
- ACK（服务端→客户端）： 服务端说“收到，但我还有数据要发”。
- FIN（服务端→客户端）： 服务端说“我也发完了，可以关了”。
- ACK（客户端→服务端）： 客户端说“收到，开始等待2MSL后关闭”。
注意第四步之后，客户端进入TIME_WAIT状态，持续2MSL（通常为1-4分钟）。为什么要有这个等待？
- 防止最后一个ACK丢失： 如果服务端没收到ACK，会重发FIN，客户端需要重新响应。
- 防止旧连接的数据包干扰新连接： 确保网络中所有属于该连接的报文都已消失。
嗯，这里要注意：主动关闭连接的一方才会进入TIME_WAIT。所以谁先挥手，谁就要承担这个“代价”。
4.2 TIME_WAIT堆积：端口耗尽的噩梦
我在项目中遇到过这样一个场景：一个高并发的API网关，客户端短连接频繁请求，每次请求结束后客户端主动关闭连接。结果线上突然出现大量连接失败，错误日志显示Cannot assign requested address。
为什么会这样？
每个TCP连接都由一个四元组唯一标识：(源IP, 源端口, 目标IP, 目标端口)。对于客户端来说，源端口是有限的（通常16位，约65535个）。当大量连接进入TIME_WAIT状态时，这些端口被占用，无法复用。端口耗尽，新连接自然无法建立。
| 状态 | 持续时间 | 端口占用 | 影响 |
|---|---|---|---|
| TIME_WAIT | 1-4分钟（2MSL） | 是 | 端口耗尽、连接失败 |
| CLOSE_WAIT | 取决于应用 | 是 | 应用层未关闭socket，资源泄漏 |
| FIN_WAIT2 | 可配置超时 | 是 | 对端未发送FIN，半连接 |
避坑指南： 我曾经在一个压测环境中发现，客户端每秒发起1000个短连接，不到1分钟端口就耗尽了。服务端虽然正常处理，但客户端已经无法发起新请求。这就是典型的TIME_WAIT堆积导致的端口耗尽问题。
4.3 Wireshark中TIME_WAIT的识别与统计
抓包定位TIME_WAIT问题，我一般分三步走：
4.3.1 识别单个TIME_WAIT连接
在Wireshark中，抓取到四次挥手过程后，你会看到这样的包序列：
No. Time Source Destination Protocol Info
1 0.000000 10.0.0.1 10.0.0.2 TCP 80 → 54321 [FIN, ACK] Seq=1 Ack=1
2 0.000100 10.0.0.2 10.0.0.1 TCP 54321 → 80 [ACK] Seq=1 Ack=2
3 0.000200 10.0.0.2 10.0.0.1 TCP 54321 → 80 [FIN, ACK] Seq=1 Ack=2
4 0.000300 10.0.0.1 10.0.0.2 TCP 80 → 54321 [ACK] Seq=2 Ack=2
第4个包之后，源端口54321对应的连接进入TIME_WAIT。在Wireshark的Follow TCP Stream中，你会看到连接状态显示为TIME_WAIT。
4.3.2 统计TIME_WAIT数量
我个人习惯用Wireshark的过滤器和统计功能来量化问题：
- 过滤TIME_WAIT包：
tcp.flags.fin == 1可以过滤出所有FIN包，但无法直接过滤TIME_WAIT状态。 - 使用统计工具： 菜单栏
Statistics → Conversations，选择TCP标签页，可以看到每个连接的包数、字节数和持续时间。持续时间超过2MSL的连接可能就是TIME_WAIT残留。 - 导出特定连接： 使用
tcp.stream eq N过滤特定流，查看其完整生命周期。
小技巧： 在Wireshark中，你可以使用 tcp.analysis.flags 来查看TCP分析标志。如果看到 TCP Analysis: ACKed lost segment 或 TCP Analysis: Duplicate ACK，说明网络中存在重传或乱序，这可能会延长TIME_WAIT的持续时间。
4.3.3 系统级统计
除了Wireshark，我还会在服务器上用命令行快速确认TIME_WAIT规模：
# 统计TIME_WAIT连接数
netstat -an | grep TIME_WAIT | wc -l
# 查看各状态分布
netstat -an | awk '/^tcp/ {print $6}' | sort | uniq -c | sort -rn
# 使用ss命令（更快）
ss -s
如果TIME_WAIT数量超过几万甚至十几万，那基本可以断定是端口耗尽了。
4.4 解决方案：从应用到内核的优化
解决TIME_WAIT堆积，我通常从以下几个层面入手：
4.4.1 应用层优化
- 让服务端主动关闭： 如果可能，让服务端先发FIN。服务端通常使用固定端口（如80），不会出现端口耗尽问题。
- 使用连接池： 复用长连接，避免频繁创建和销毁连接。这是最根本的解决方案。
- 调整HTTP版本： 从HTTP/1.0升级到HTTP/1.1，默认开启Keep-Alive，减少连接建立次数。
4.4.2 内核参数调优
如果应用层无法修改，可以通过调整Linux内核参数来缓解：
# 允许TIME_WAIT状态的socket用于新连接
net.ipv4.tcp_tw_reuse = 1
# 快速回收TIME_WAIT（注意：NAT环境下慎用）
net.ipv4.tcp_tw_recycle = 0 # 建议关闭，新版内核已移除
# 减少FIN_WAIT2超时时间
net.ipv4.tcp_fin_timeout = 30
# 增加端口范围
net.ipv4.ip_local_port_range = 1024 65535
注意： tcp_tw_recycle 在NAT环境下会导致严重问题，因为多个客户端共享同一个公网IP，时间戳差异会导致连接被错误丢弃。从Linux 4.12开始，这个参数已经被移除。我个人建议永远不要开启它。
4.4.3 架构层面优化
- 引入负载均衡： 多台服务器分摊连接，降低单机压力。
- 使用异步非阻塞模型： 如epoll、libevent，减少线程切换开销，提高连接处理能力。
- 考虑使用UDP： 对于某些场景（如日志收集、监控指标），UDP无连接特性可以完全避免TIME_WAIT问题。
4.5 知识体系图：TIME_WAIT问题全景
下面这张图梳理了TIME_WAIT问题的完整链路，从四次挥手到端口耗尽，再到解决方案：
4.6 实战案例：一次端口耗尽故障排查
最后分享一个我亲身经历的案例。有一次线上告警，某个微服务的调用成功率从99.9%骤降到70%。我登录服务器一看：
$ netstat -an | grep TIME_WAIT | wc -l
32000
$ netstat -an | grep ESTABLISHED | wc -l
1500
TIME_WAIT高达3.2万，而端口范围默认只有2.8万（32768-60999）。端口已经用光了。
抓包分析发现，客户端每次请求都新建连接，请求结束后主动关闭。服务端响应很快，但客户端端口被大量TIME_WAIT占用。
解决方案很简单：
- 在客户端启用连接池，复用长连接。
- 调整内核参数
tcp_tw_reuse=1，允许复用TIME_WAIT端口。 - 将端口范围扩大到
1024 65535。
调整后，TIME_WAIT数量稳定在2000左右，连接失败问题彻底解决。
总结一下： TIME_WAIT不是洪水猛兽，它是TCP协议为了可靠性做出的权衡。理解它的原理，学会用Wireshark和系统命令监控它，再根据场景选择合适的优化方案，你就能在高并发场景下游刃有余。