4. 配额超限场景分析：常见的网络配额超限故障模式
网络资源配额超限是生产环境中导致服务抖动、延迟飙升甚至完全不可用的高频故障根因。eBPF 技术能够在内核态实时捕获配额耗尽前的临界信号，为故障定位提供毫秒级精度。本章聚焦三种最常见的超限模式：带宽打满、连接数耗尽和突发流量，分析其故障特征、观测指标与 eBPF 校准方法。
4.1 带宽打满（Bandwidth Saturation）
带宽打满是指网络接口或特定流量路径的吞吐量达到物理或策略上限，导致数据包排队、丢包和 TCP 退避。eBPF 可以通过 tc 钩子或 XDP 程序在数据包进入内核协议栈之前统计字节数，结合 BPF maps 实现实时带宽计算。
故障特征
- 接口丢包计数器（
ifconfig/ethtool -S）持续增长，尤其是tx_dropped或rx_missed_errors。 - TCP 重传率 > 5%，RTT 从正常值跳变至数倍以上。
- 应用层请求超时比例上升，但 CPU 和内存使用率正常。
eBPF 观测指标
| 指标 | eBPF 采集点 | 超限阈值参考 |
|---|---|---|
| 接口瞬时带宽 (bps) | tc_ingress / tc_egress 统计字节差 |
接近接口协商速率 90% |
| 队列积压 (backlog) | kprobe:__dev_queue_xmit 读取 sk_buff->sk->sk_rcv_buf |
持续 > 64KB |
| 丢包率 | tracepoint:net:netif_receive_skb + drop reason |
> 0.1% |
校准要点：带宽打满场景下，eBPF 应同时采集 ingress 和 egress 两个方向的数据，因为云环境中的带宽限速策略（如 AWS ENA 驱动、vNic 限速）可能在出方向或入方向单独生效。仅观测单方向容易漏判。
4.2 连接数耗尽（Connection Exhaustion）
连接数耗尽通常发生在四层负载均衡、NAT 网关或高并发代理节点上。当内核连接跟踪表（nf_conntrack）或进程文件描述符（FD）达到上限时，新连接无法建立，表现为 Cannot assign requested address 或 Too many open files 错误。
故障特征
- 系统日志出现
nf_conntrack: table full, dropping packet。 - ss 或 netstat 显示 TIME_WAIT 连接数占比 > 30%，且持续高位。
- 应用报错
errno 24 (EMFILE)或errno 99 (EADDRNOTAVAIL)。
eBPF 观测指标
| 指标 | eBPF 采集点 | 超限阈值参考 |
|---|---|---|
| 当前活跃连接数 | kprobe:tcp_v4_connect + kretprobe:tcp_close 计数 |
接近进程 FD 限制的 80% |
| conntrack 表使用率 | kprobe:__nf_conntrack_find_get 读取 net->ct.count |
> 90% |
| SYN 丢包率 | tracepoint:tcp:tcp_rcv_state_process 过滤 SYN 状态 |
> 1% |
校准技巧：连接数耗尽场景下，建议使用 eBPF 的 per-CPU map 分别统计每个 CPU 上的连接创建/销毁速率，避免全局锁竞争影响计数精度。同时配合
kprobe:tcp_set_state 追踪连接状态机迁移，快速定位 TIME_WAIT 堆积的根因。
4.3 突发流量（Traffic Burst）
突发流量指在极短时间内（通常为毫秒级）流量陡增数倍，导致瞬时队列溢出、CPU 软中断飙高和尾部延迟恶化。eBPF 的 map-in-map 和 perf event 数组 可以捕捉微秒级的流量脉冲，这是传统监控工具（如 Prometheus 15s 拉取间隔）无法感知的盲区。
故障特征
- 应用 P99 延迟在 1-2 秒内从 10ms 跳变到 500ms+，然后快速恢复。
- CPU 软中断（
si）瞬时飙升至 80% 以上，但平均负载正常。 - 网卡 ring buffer 溢出计数器（
rx_fifo_errors）偶发增长。
eBPF 观测指标
| 指标 | eBPF 采集点 | 超限阈值参考 |
|---|---|---|
| 瞬时 PPS (packets per second) | XDP 或 tc 钩子 + 10ms 滑动窗口 |
超过网卡 PPS 上限的 70% |
| 软中断耗时 | kprobe:do_softirq + 时间戳差 |
单次 > 1ms |
| ring buffer 使用深度 | tracepoint:net:netif_receive_skb 读取队列长度 |
> 硬件 ring 大小的 80% |
校准陷阱：突发流量场景下，不要依赖全局平均带宽。eBPF 程序必须使用 per-CPU 时间窗口（如 BPF_F_CURRENT_CPU）和 直方图 map 来记录 PPS 分布。如果使用全局 map 累加，高并发下 map 更新锁会掩盖真实的脉冲峰值。
4.4 三种超限模式的对比与校准优先级
| 超限模式 | 典型根因 | eBPF 校准关键点 | 故障恢复时间 |
|---|---|---|---|
| 带宽打满 | 大文件传输、DDoS、日志洪峰 | tc 钩子双向带宽 + 队列深度 | 分钟级（限速/扩容） |
| 连接数耗尽 | 连接泄漏、TIME_WAIT 堆积、FD 泄露 | tcp_set_state + conntrack 计数 | 分钟~小时级（调参/重启） |
| 突发流量 | 秒杀、热点事件、上游重试风暴 | XDP PPS 直方图 + 软中断耗时 | 秒级（自动弹性/限流） |