3. eBPF 网络观测基础：技术栈、捕获原理与内核探针应用

在 Kubernetes 环境中，传统的网络观测手段（如 tcpdump、netstat）往往面临性能开销大、观测粒度粗、无法关联容器上下文等痛点。eBPF（extended Berkeley Packet Filter）技术的出现，使得在不修改内核、不侵入应用的前提下，以极低的开销实现细粒度的网络数据包捕获与分析成为可能。本章将系统梳理 eBPF 技术栈的核心组件，解析网络数据包的捕获路径，并重点介绍 kprobe 与 tracepoint 在网络观测中的典型应用模式。

3.1 eBPF 技术栈概述

eBPF 并非单一工具，而是一套完整的技术栈，涵盖内核运行时、验证器、编译器、加载器以及用户态交互层。理解其分层架构，是设计高效网络观测方案的基础。

层级 核心组件 功能描述
内核运行时 BPF 虚拟机、eBPF Map、Helper 函数 提供沙箱执行环境，保证程序安全高效运行；Map 用于内核态与用户态数据交换；Helper 函数提供受限的内核能力调用。
验证器 & JIT BPF Verifier、BPF JIT Compiler 验证器确保程序无循环、无越界、无死锁；JIT 将 BPF 字节码编译为本地机器码，提升执行效率。
加载与库 libbpf、bpftool libbpf 是用户态加载 BPF 程序的标准库，提供 CO-RE（一次编译，到处运行）能力；bpftool 是命令行调试与诊断工具。
用户态框架 Cilium / Hubble、Pixie、Falco 基于 eBPF 构建的成熟观测与安全平台，提供网络策略、服务拓扑、性能诊断等高级能力。
关键认知： eBPF 程序运行在内核态，但受验证器严格约束。这意味着网络观测程序即使出现逻辑错误，也不会导致内核崩溃，这是其相比内核模块的核心安全优势。

下图展示了 eBPF 技术栈的完整工作流，从 C 代码编写到内核态执行，再到用户态数据消费：

eBPF 技术栈工作流 eBPF 技术栈工作流 C 源码 LLVM Clang 编译 BPF 字节码 BPF 验证器 JIT 编译 内核态执行 eBPF Map 用户态读取 说明： 1. C 源码经 LLVM Clang 编译为 BPF 字节码（ELF 目标文件）。 2. 字节码通过 bpf() 系统调用加载至内核，验证器检查安全性。 3. 验证通过后，JIT 编译为本地指令，挂载到指定探针点执行。 4. 观测数据通过 eBPF Map 传递至用户态，由 Hubble/Pixie 等框架消费。

3.2 网络数据包捕获原理

eBPF 在网络数据包捕获方面提供了比传统 tcpdump 更高效、更灵活的机制。其核心原理是在内核网络协议栈的关键路径上插入 eBPF 程序，实现零拷贝的数据包过滤与采样。

3.2.1 捕获路径对比

捕获方式 数据路径 性能开销 适用场景
传统 tcpdump (AF_PACKET) 网卡 → 驱动 → 协议栈 → socket 缓冲区 → 用户态拷贝 高（多次内存拷贝、上下文切换） 低频调试、临时抓包
eBPF XDP (Express Data Path) 网卡 → 驱动 → XDP 程序（网卡驱动层）→ 协议栈或直接丢弃 极低（无 sk_buff 分配，可零拷贝） DDoS 防护、高性能包过滤、负载均衡
eBPF TC (Traffic Control) 网卡 → 驱动 → 协议栈 → TC hook（ingress/egress） 低（已有 sk_buff，但无用户态拷贝） 流量整形、网络策略、带宽观测
eBPF sock_ops / cgroup 应用 → socket 层 → cgroup 级别 hook 低（仅关联特定 cgroup 或 socket） 容器粒度网络观测、连接跟踪
性能关键点： XDP 程序在网卡驱动层运行，甚至可以通过 AF_XDP 套接字实现用户态与网卡之间的零拷贝数据传递，吞吐量可达线速（10Gbps/40Gbps），而 CPU 占用率远低于传统方式。

3.2.2 数据包在内核中的流转与 eBPF 挂载点

下图展示了数据包从网卡到达用户态应用的过程中，eBPF 可以挂载的关键 hook 点：

网络数据包内核流转与 eBPF 挂载点 网络数据包内核流转与 eBPF 挂载点 网卡 XDP 程序 网络协议栈 TC ingress Socket 层 用户态应用 关键挂载点说明： • XDP：最早介入点，在驱动层处理，可丢弃/重定向/转发，性能最高。 • TC ingress：协议栈处理前，可修改 sk_buff，适合流量控制与观测。 • Socket 层：通过 sock_ops / cgroup hook，可观测特定容器或进程的网络行为。 • 用户态：通过 AF_PACKET 或 AF_XDP 接收数据，但 eBPF 可在此前完成过滤。

3.3 内核探针（kprobe / tracepoint）在网络观测中的应用

除了在网络协议栈的固定 hook 点挂载程序外，eBPF 还可以通过 kprobe 和 tracepoint 动态或静态地探测内核函数的执行，这对于观测 TCP 连接状态、套接字缓冲区变化、网络错误等场景至关重要。

3.3.1 kprobe 与 tracepoint 对比

特性 kprobe tracepoint
稳定性 动态探测，依赖内核函数名，内核版本升级可能导致函数名变化 静态定义，内核开发者维护的稳定接口，ABI 相对稳定
性能开销 较高（需插入断点指令，影响指令流水线） 较低（预定义的静态桩点，开销可控）
适用场景 调试未暴露 tracepoint 的内核函数，如特定驱动或协议栈内部函数 生产环境长期观测，如 TCP 重传、连接建立/关闭、内存分配
网络观测示例 kprobe:tcp_v4_connect 观测发起连接时的参数 tracepoint:tcp/tcp_retransmit_skb 观测 TCP 重传事件

3.3.2 典型网络观测探针清单

以下是在 Kubernetes 网络观测中高频使用的内核探针及其观测目标：

  • TCP 连接生命周期
    • kprobe:tcp_v4_connect / kprobe:tcp_v6_connect：捕获发起连接时的源 IP、目的 IP、端口。
    • kprobe:tcp_set_state：监控套接字状态变迁（SYN_SENT → ESTABLISHED → CLOSE_WAIT → TIME_WAIT）。
    • tracepoint:tcp/tcp_destroy_sock：连接关闭时清理资源，可用于统计连接持续时间。
  • TCP 性能与异常
    • tracepoint:tcp/tcp_retransmit_skb：记录重传次数与序列号，判断网络丢包率。
    • tracepoint:tcp/tcp_rcv_space_adjust：接收窗口调整事件，反映接收端压力。
    • kprobe:tcp_sendmsg / kprobe:tcp_recvmsg：统计应用层读写字节数，计算吞吐量。
  • 套接字缓冲区与内存
    • kprobe:sk_data_ready：数据到达 socket 时触发，可测量数据到达延迟。
    • tracepoint:sock/sock_rcvqueue_full：接收队列满事件，指示应用层处理瓶颈。
  • 网络命名空间与容器关联
    • kprobe:__skb_set_owner_r：将 sk_buff 与 socket 关联，进而通过 cgroup id 映射到 Pod。
    • tracepoint:cgroup/cgroup_attach_task：监控 Pod 与 cgroup 的绑定关系，辅助网络流量归因。
生产环境注意事项： kprobe 可能因内核函数内联或重命名而失效。建议优先使用 tracepoint 进行生产观测；若必须使用 kprobe，应配合 CO-RE（Compile Once – Run Everywhere）机制和 BTF（BPF Type Format）信息，确保跨内核版本的兼容性。

3.3.3 探针挂载示例：观测 TCP 重传

以下是一个使用 libbpf 挂载 tracepoint:tcp/tcp_retransmit_skb 的简化代码片段，用于捕获重传事件并记录源 IP 与重传次数：

// tcp_retransmit.bpf.c
#include <vmlinux.h>
#include <bpf/bpf_helpers.h>
#include <bpf/bpf_tracing.h>

struct event {
    __u32 saddr;
    __u32 daddr;
    __u16 sport;
    __u16 dport;
    __u32 retransmit_count;
};

struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
    __uint(max_entries, 1 << 16);
} events SEC(".maps");

SEC("tracepoint/tcp/tcp_retransmit_skb")
int retransmit_handler(struct trace_event_raw_tcp_retransmit_skb *ctx) {
    struct event *e = bpf_ringbuf_reserve(&events, sizeof(*e), 0);
    if (!e) return 0;

    // 从 skb 中提取四元组信息
    struct tcphdr *th = (struct tcphdr *)bpf_get_current_task();
    // 实际需通过 BPF 辅助函数读取 skb 字段
    e->saddr = ctx->sk->__sk_common.skc_rcv_saddr;
    e->daddr = ctx->sk->__sk_common.skc_daddr;
    e->sport = ctx->sk->__sk_common.skc_num;
    e->dport = ctx->sk->__sk_common.skc_dport;
    e->retransmit_count = ctx->sk->sk_retransmits;

    bpf_ringbuf_submit(e, 0);
    return 0;
}

char LICENSE[] SEC("license") = "GPL";
观测数据消费： 用户态程序通过 libbpf 的 ring_buffer__poll() 接口读取 events map 中的重传事件，然后关联到 Kubernetes Pod 的 IP 与命名空间，即可实现 Pod 粒度的 TCP 重传率监控。该指标可直接用于 VPA 资源配额校准中的网络健康度判断。

3.4 本章小结

  • eBPF 技术栈由内核运行时、验证器/JIT、libbpf 库及用户态框架构成，为网络观测提供了安全、高效的基础设施。
  • 网络数据包捕获可通过 XDP、TC、sock_ops 等不同 hook 点实现，性能与灵活性各有侧重，XDP 适用于高性能场景，TC 适用于通用观测。
  • kprobe 与 tracepoint 分别适用于动态调试与稳定生产观测，在网络观测中用于捕获 TCP 连接状态、重传、缓冲区压力等关键指标。
  • 结合 eBPF Map 与用户态框架（如 Hubble），可以将内核观测数据实时映射到 Kubernetes 资源对象，为 VPA 资源配额校准提供精准的网络维度输入。
← 上一章 📖 返回目录 下一章 →