4. 流量录制原理与实现（一）：网络流量捕获基础（pcap）、Go中的gopacket库介绍、编写基础的HTTP流量嗅探器

流量录制是业务环境回放系统的数据源头。本章从网络流量捕获的底层原理出发，介绍 libpcap 的工作机制、Go 语言中 gopacket 库的核心能力，并带领你编写一个基础的 HTTP 流量嗅探器，为后续的流量过滤、存储与回放打下坚实基础。

4.1 网络流量捕获基础：libpcap 与 pcap 文件格式

libpcap（Packet Capture Library）是 Unix/Linux 平台下最广泛使用的网络数据包捕获引擎，Windows 平台对应 WinPcap / Npcap。它直接与网卡驱动交互，绕过协议栈，将原始数据包从链路层（L2）拷贝到用户空间。

4.1.1 libpcap 核心工作流程

1. 设置网卡为混杂模式（Promiscuous Mode）：使网卡接收所有经过的数据帧，而不仅是发往本机 MAC 地址的帧。
2. BPF（Berkeley Packet Filter）编译与挂载：用户定义的过滤表达式（如 tcp port 80）被编译为 BPF 字节码，在内核态执行，大幅减少用户态数据拷贝量。
3. 环形缓冲区（Ring Buffer）：内核维护一个固定大小的环形缓冲区，数据包到达时直接写入，用户态程序通过 pcap_next_ex() 或 pcap_loop() 异步读取。
4. 时间戳与长度记录：每个数据包被捕获时，libpcap 记录其到达时间戳（微秒级）和原始长度（on-wire length）与捕获长度（snapshot length）。

4.1.2 pcap 文件结构

pcap 文件是 libpcap 的标准存储格式，由全局文件头（Global Header）和若干数据包记录（Packet Record）组成：

每个数据包记录包含一个 16 字节的包头（时间戳秒、微秒、捕获长度、原始长度）和紧随其后的原始数据包字节。

4.2 Go 中的 gopacket 库介绍

gopacket 是 Google 维护的 Go 语言数据包处理库，封装了 libpcap 的 C API，并提供了一套纯 Go 实现的协议解析层。它被广泛应用于网络监控、入侵检测、流量分析等场景。

4.2.1 gopacket 核心模块

4.2.2 gopacket 数据包解码模型

gopacket 采用分层解码模型，每个数据包被表示为一个 Packet 接口，通过 Layer() 方法按协议栈顺序访问各层：

// 伪代码示意：从原始字节解码数据包
packet := gopacket.NewPacket(
    rawBytes,
    layers.LayerTypeEthernet,
    gopacket.Default,
)

// 获取各层
ethLayer := packet.Layer(layers.LayerTypeEthernet)   // 以太网帧
ipLayer  := packet.Layer(layers.LayerTypeIPv4)       // IPv4 头部
tcpLayer := packet.Layer(layers.LayerTypeTCP)        // TCP 头部
appLayer := packet.ApplicationLayer()                 // 应用层载荷（如 HTTP 数据）

4.3 编写基础的 HTTP 流量嗅探器

本节将实现一个命令行 HTTP 嗅探器，它监听指定网络接口，捕获 TCP 80 端口的流量，并打印出 HTTP 请求行与响应状态行。这是流量录制系统的第一个可运行组件。

4.3.1 嗅探器架构设计

下图展示了嗅探器的核心数据流：

4.3.2 核心代码实现

以下代码实现了基础的 HTTP 嗅探器，它监听 eth0 接口的 TCP 80 端口流量，并打印 HTTP 请求方法与 URI、响应状态码：

package main

import (
    "fmt"
    "log"
    "github.com/google/gopacket"
    "github.com/google/gopacket/pcap"
    "github.com/google/gopacket/layers"
)

func main() {
    // 1. 打开网络设备
    handle, err := pcap.OpenLive("eth0", 65535, true, pcap.BlockForever)
    if err != nil {
        log.Fatal(err)
    }
    defer handle.Close()

    // 2. 设置 BPF 过滤器：仅捕获 TCP 80 端口流量
    err = handle.SetBPFFilter("tcp port 80")
    if err != nil {
        log.Fatal(err)
    }

    // 3. 创建数据包源
    packetSource := gopacket.NewPacketSource(handle, handle.LinkType())

    // 4. 循环读取数据包
    for packet := range packetSource.Packets() {
        // 获取 TCP 层
        tcpLayer := packet.Layer(layers.LayerTypeTCP)
        if tcpLayer == nil {
            continue
        }
        tcp, _ := tcpLayer.(*layers.TCP)

        // 获取应用层载荷
        appLayer := packet.ApplicationLayer()
        if appLayer == nil {
            continue
        }
        payload := string(appLayer.Payload())

        // 简单判断：如果载荷以 "GET"、"POST" 等开头，视为 HTTP 请求
        if len(payload) > 4 && (payload[:3] == "GET" || payload[:4] == "POST" || payload[:4] == "PUT ") {
            fmt.Printf("[请求] %s:%d -> %s:%d | %s\n",
                tcp.SrcIP, tcp.SrcPort, tcp.DstIP, tcp.DstPort, payload[:50])
        }

        // 如果载荷以 "HTTP/" 开头，视为 HTTP 响应
        if len(payload) > 5 && payload[:5] == "HTTP/" {
            fmt.Printf("[响应] %s:%d -> %s:%d | %s\n",
                tcp.SrcIP, tcp.SrcPort, tcp.DstIP, tcp.DstPort, payload[:50])
        }
    }
}

4.3.3 编译与运行

1. 安装依赖：go get github.com/google/gopacket，并确保系统已安装 libpcap 开发库（Ubuntu: apt install libpcap-dev）。
2. 编译：go build -o http_sniffer main.go。
3. 运行：sudo ./http_sniffer（需要 root 权限以开启混杂模式）。

4.4 本章小结

本章完成了流量录制的基础设施搭建：

• 理解了 libpcap 的捕获机制与 pcap 文件结构；
• 掌握了 gopacket 库的分层解码模型与核心模块；
• 编写并运行了第一个 HTTP 流量嗅探器，能够实时输出请求与响应摘要。