📚 课程目录第4章流量可视化基础

4. 流量可视化基础：网络流量的五元组概念、eBPF如何捕获网络包、BPF_MAP_TYPE_PERF_EVENT_ARRAY在流量采集中的应用

4.1 网络流量五元组：可视化的原子单元

在流量可视化领域，五元组（5-Tuple）是描述一条网络连接的最小完备信息集合。任何一次网络通信，无论协议是 TCP 还是 UDP，都可以通过以下五个字段唯一标识：

字段	含义	示例值
源 IP	发起通信的主机地址	10.244.1.15
目的 IP	接收通信的主机地址	10.96.0.1
源端口	发起方的传输层端口	43872
目的端口	接收方的传输层端口	6443
传输层协议	TCP 或 UDP（协议号 6/17）	6 (TCP)

在 Kubernetes 环境中，五元组是连接 Pod IP → Service IP → 外部端点 的核心映射依据。eBPF 程序通过解析网络包头部，提取这五个字段，即可构建出完整的流量拓扑关系。

关键认知： 五元组是流量可视化的"主键"。在 Hubble 中，每条流记录（Flow）的 source 和 destination 字段最终都会展开为五元组信息，用于后续的依赖分析和安全策略审计。

4.2 eBPF 捕获网络包的完整路径

eBPF 捕获网络包并非通过传统的 libpcap 拷贝，而是通过在内核网络栈的 钩子点（Hook Points） 挂载 BPF 程序，实现零拷贝、协议感知的包采集。下图展示了从网卡到用户态采集器的完整数据流：

eBPF 程序通常挂载在 XDP（最早捕获点）或 TC Ingress（流量控制层）上。当数据包经过这些钩子时，BPF 程序通过 __sk_buff 结构体指针直接读取包内容，解析出五元组，然后写入 BPF Map 或通过 Perf Event 提交到用户态。

4.3 BPF_MAP_TYPE_PERF_EVENT_ARRAY：高性能事件通道

BPF_MAP_TYPE_PERF_EVENT_ARRAY 是 eBPF 中专门用于将内核事件高效传输到用户态的环形缓冲区映射类型。与传统的 BPF_MAP_TYPE_ARRAY 或 BPF_MAP_TYPE_HASH 不同，它基于 perf_event 机制，支持无锁、批量、低延迟的数据推送。

4.3.1 核心特性对比

特性	BPF_MAP_TYPE_PERF_EVENT_ARRAY	BPF_MAP_TYPE_ARRAY/HASH
数据传递方式	内核主动推送（push）	用户态轮询拉取（pull）
延迟	微秒级（事件驱动）	毫秒级（轮询间隔）
批量处理	支持批量提交（bpf_perf_event_output）	单条读写
数据丢失	环形缓冲区溢出时丢包（可配置）	无溢出机制，写满阻塞
适用场景	高频包采样、实时流日志	聚合统计、连接跟踪表

4.3.2 在流量采集中的典型用法

在 Cilium / Hubble 的 eBPF 程序中，BPF_MAP_TYPE_PERF_EVENT_ARRAY 被用于将每个捕获到的网络包的五元组信息实时推送到用户态。以下是一个简化的内核态 BPF 代码片段：

// 定义 Perf Event Map，key 为 CPU ID，value 为自定义事件结构体
struct {
    __uint(type, BPF_MAP_TYPE_PERF_EVENT_ARRAY);
    __uint(key_size, sizeof(u32));
    __uint(value_size, sizeof(u32));
    __uint(max_entries, 1024);
} perf_map SEC(".maps");

// 定义要传输的事件结构体
struct packet_event {
    __u32 src_ip;
    __u32 dst_ip;
    __u16 src_port;
    __u16 dst_port;
    __u8  protocol;
    __u32 pid;
};

// TC Ingress 钩子程序
SEC("tc")
int capture_packet(struct __sk_buff *skb) {
    struct packet_event event = {};
    void *data_end = (void *)(long)skb->data_end;
    void *data = (void *)(long)skb->data;

    // 解析 IP 头（简化示例，省略偏移校验）
    struct iphdr *ip = data + ETH_HLEN;
    if ((void *)(ip + 1) > data_end) return TC_ACT_OK;

    event.src_ip = ip->saddr;
    event.dst_ip = ip->daddr;
    event.protocol = ip->protocol;

    // 解析 TCP/UDP 头
    if (ip->protocol == IPPROTO_TCP) {
        struct tcphdr *tcp = (void *)ip + sizeof(*ip);
        if ((void *)(tcp + 1) > data_end) return TC_ACT_OK;
        event.src_port = bpf_ntohs(tcp->source);
        event.dst_port = bpf_ntohs(tcp->dest);
    } else if (ip->protocol == IPPROTO_UDP) {
        struct udphdr *udp = (void *)ip + sizeof(*ip);
        if ((void *)(udp + 1) > data_end) return TC_ACT_OK;
        event.src_port = bpf_ntohs(udp->source);
        event.dst_port = bpf_ntohs(udp->dest);
    }

    // 获取当前进程 PID（命名空间视角）
    event.pid = bpf_get_current_pid_tgid() >> 32;

    // 将事件推送到 Perf Event Ring Buffer
    bpf_perf_event_output(skb, &perf_map, BPF_F_CURRENT_CPU,
                          &event, sizeof(event));

    return TC_ACT_OK;
}

  性能要点： bpf_perf_event_output 的第三个参数 BPF_F_CURRENT_CPU 表示将事件写入当前 CPU 对应的环形缓冲区，避免了跨 CPU 锁竞争。用户态采集器通过 perf_event_open 系统调用为每个 CPU 创建独立的读取 fd，实现并行消费。

4.4 用户态消费与 Hubble 集成

在用户态，Cilium 的 cilium-agent 或 Hubble 的 hubble-observability 组件通过 libbpf 或 bcc 框架读取 Perf Event Ring Buffer。消费流程如下：

Map 初始化： 用户态程序通过 bpf_object__find_map_by_name 获取 perf_map 的文件描述符。
Perf Buffer 创建： 调用 perf_buffer__new 为每个 CPU 创建读取缓冲区，并注册回调函数。
事件轮询： 主循环调用 perf_buffer__poll，当内核有事件推送时，自动触发回调。
五元组提取与流表关联： 回调函数中解析 packet_event，将五元组与 Hubble 的流表（Flow Table）进行匹配或创建新流记录。
元数据增强： 结合 Kubernetes API 信息，将 IP:Port 映射为 Pod 名称、Service 名称、标签等可读信息。

调优注意： Perf Event Ring Buffer 的大小直接影响丢包率。在 Cilium 中，可以通过 --bpf-perf-event-buffer-size 参数调整每个 CPU 的缓冲区大小（默认 64KB）。在高吞吐场景（>10Gbps），建议增大至 256KB 或 512KB，并配合 --bpf-perf-event-sample-rate 采样率控制。

4.5 本章小结

五元组 是流量可视化的最小原子，包含源/目的 IP、源/目的端口、协议号。
eBPF 捕获路径 从 XDP/TC 钩子开始，零拷贝解析包头部，绕过传统内核协议栈的冗余处理。
BPF_MAP_TYPE_PERF_EVENT_ARRAY 提供高性能事件推送通道，适合实时包采样场景。
用户态通过 perf_buffer__poll 消费事件，结合五元组与 Hubble 流表，完成从原始包到可观测流记录的转换。