3、缓存命中率指标：关键性能指标（命中率、延迟、吞吐量）、如何采集与监控命中率

缓存命中率是衡量 CNI 数据面转发效率的核心指标。当 Pod 间通信频繁创建或销毁时，CNI 缓存（如 conntrack、FIB、ARP 表）的命中率直接决定数据包是走快速路径（内核旁路/硬件卸载）还是慢速路径（协议栈处理）。本节定义三大关键性能指标，并给出生产环境下的采集与监控方案。

3.1 关键性能指标（KPI）定义

3.2 命中率采集方法

3.2.1 内核级采集（eBPF / tracepoint）

对于基于 conntrack 或 FIB 的 CNI 插件（如 Calico、Cilium），最精确的采集点位于内核网络栈的查找路径：

• conntrack 命中/未命中： 挂载 kprobe:nf_conntrack_in 和 kprobe:nf_conntrack_confirm，统计 NF_CT_STAT_HIT 与 NF_CT_STAT_MISS。
• FIB 路由缓存： 读取 /proc/net/stat/rt_cache 中的 in_hit、in_miss 字段。
• ARP 邻居表： 通过 ip -s neigh show 获取 used 与 failed 计数。

# 使用 bpftrace 实时采集 conntrack 命中率（生产环境建议用 Cilium 的 Hubble 或开源 exporter）
bpftrace -e '
kprobe:nf_conntrack_in {
  @start[tid] = nsecs;
}
kretprobe:nf_conntrack_in /@start[tid]/ {
  $delta = nsecs - @start[tid];
  if (retval > 0) {
    @hit_count++;
    @hit_latency_hist = hist($delta);
  } else {
    @miss_count++;
  }
  delete(@start[tid]);
}
interval:s:10 {
  $total = @hit_count + @miss_count;
  printf("conntrack hit rate: %f%% (hit=%d miss=%d)\n",
         $total > 0 ? (@hit_count / $total) * 100 : 0,
         @hit_count, @miss_count);
  clear(@hit_count); clear(@miss_count);
}'

3.2.2 用户态采集（CNI 插件 metrics API）

主流 CNI 插件已内置 Prometheus 指标端点，推荐优先使用：

3.3 监控体系搭建

下图展示从数据采集到告警的完整监控流水线：

3.4 命中率计算与告警规则

PromQL 查询示例（基于 Cilium 指标）：

# 实时命中率（5 分钟滑动窗口）
100 * (
  rate(cilium_conntrack_hit_total[5m])
  /
  (rate(cilium_conntrack_hit_total[5m]) + rate(cilium_conntrack_miss_total[5m]))
)

# 缓存查询延迟 P99（需启用延迟直方图）
histogram_quantile(0.99,
  sum(rate(cilium_conntrack_latency_seconds_bucket[5m])) by (le)
)

3.5 缓存命中率与性能的关联模型

下面通过第二个独立图示展示命中率下降时，数据面各阶段延迟的连锁变化：

3.6 生产环境监控清单

1. 指标采集： 每个节点部署 Prometheus Node Exporter + CNI 插件 exporter，确保 scrape_interval ≤ 15s。
2. 聚合计算： 使用 rate() 函数计算命中率，避免计数器重置干扰。
3. 告警阈值： 设置三级告警——Warning（< 99%）、Critical（< 95%）、Pager（< 90%）。
4. 可视化： Grafana 面板展示命中率趋势图、延迟热力图、吞吐量折线图，按节点和命名空间分组。
5. 日志关联： 当命中率触发告警时，自动关联对应节点的 conntrack 表大小、CPU 软中断、内存压力等系统指标。