4. 请求序列化与存储：将 HTTP 请求序列化为 JSON/Protobuf、存储到本地文件系统、使用 gzip 压缩节省空间

在业务环境回放系统中，捕获到的原始 HTTP 请求必须经过序列化、压缩与持久化三个步骤，才能被后续的回放引擎高效读取。本章聚焦于如何将 Go 语言中的 http.Request 结构体转换为可存储的格式（JSON / Protobuf），并利用 gzip 压缩降低磁盘占用，最终写入本地文件系统。

4.1 序列化格式选型：JSON 与 Protobuf 对比

选择序列化格式时，需要在可读性、性能与存储效率之间权衡。下表列出了两种格式在回放场景下的关键差异：

4.2 请求序列化核心结构体

HTTP 请求包含多个不可直接序列化的字段（如 Body 为 io.ReadCloser），需要先转换为自定义的中间结构。以下是一个通用的序列化模型：

// SerializedRequest 是用于存储的中间结构
type SerializedRequest struct {
    Method   string              `json:"method" protobuf:"1"`
    URL      string              `json:"url" protobuf:"2"`
    Headers  map[string][]string `json:"headers" protobuf:"3"`
    Body     []byte              `json:"body" protobuf:"4"`
    Host     string              `json:"host" protobuf:"5"`
    RemoteAddr string            `json:"remote_addr" protobuf:"6"`
    Timestamp int64              `json:"timestamp" protobuf:"7"`
    RequestID string             `json:"request_id" protobuf:"8"`
}

4.3 序列化与反序列化实现

以下代码展示了 JSON 与 Protobuf 两种序列化方式的统一接口：

// Serializer 定义序列化器接口
type Serializer interface {
    Marshal(req *SerializedRequest) ([]byte, error)
    Unmarshal(data []byte) (*SerializedRequest, error)
}

// JSONSerializer 实现
type JSONSerializer struct{}

func (s *JSONSerializer) Marshal(req *SerializedRequest) ([]byte, error) {
    return json.Marshal(req)
}

func (s *JSONSerializer) Unmarshal(data []byte) (*SerializedRequest, error) {
    var req SerializedRequest
    err := json.Unmarshal(data, &req)
    return &req, err
}

// ProtoSerializer 实现（需提前生成 protobuf 代码）
type ProtoSerializer struct{}

func (s *ProtoSerializer) Marshal(req *SerializedRequest) ([]byte, error) {
    pbReq := convertToProto(req) // 转换为 protobuf 生成的结构体
    return proto.Marshal(pbReq)
}

func (s *ProtoSerializer) Unmarshal(data []byte) (*SerializedRequest, error) {
    var pbReq ProtoRequest
    err := proto.Unmarshal(data, &pbReq)
    if err != nil {
        return nil, err
    }
    return convertFromProto(&pbReq), nil
}

4.4 存储架构与压缩策略

序列化后的数据需要按时间或请求 ID 分片存储，并配合 gzip 压缩以节省磁盘空间。下图展示了从请求捕获到文件落盘的完整流程：

4.5 gzip 压缩与文件写入实现

以下代码展示了如何将序列化后的数据压缩并写入分片文件：

// StoreRequest 将序列化后的请求压缩并存储到本地文件系统
func StoreRequest(baseDir string, req *SerializedRequest, serializer Serializer) error {
    // 1. 序列化
    data, err := serializer.Marshal(req)
    if err != nil {
        return fmt.Errorf("marshal failed: %w", err)
    }

    // 2. 构建文件路径（按日期 + 请求 ID 前两位分片）
    ts := time.Unix(req.Timestamp, 0)
    dir := filepath.Join(baseDir, ts.Format("2006/01/02"))
    if err := os.MkdirAll(dir, 0755); err != nil {
        return fmt.Errorf("mkdir failed: %w", err)
    }

    // 3. 生成文件名：请求ID前两位/请求ID.gz
    prefix := req.RequestID[:2]
    subDir := filepath.Join(dir, prefix)
    os.MkdirAll(subDir, 0755)
    filePath := filepath.Join(subDir, req.RequestID+".gz")

    // 4. gzip 压缩写入
    f, err := os.Create(filePath)
    if err != nil {
        return fmt.Errorf("create file failed: %w", err)
    }
    defer f.Close()

    gw := gzip.NewWriter(f)
    defer gw.Close()

    if _, err := gw.Write(data); err != nil {
        return fmt.Errorf("gzip write failed: %w", err)
    }
    return nil
}

4.6 存储性能对比

以下测试数据基于 10,000 个真实 HTTP 请求（平均 Body 大小 4.2KB）在本地 SSD 上的实测结果：

4.7 反序列化与读取实现

回放引擎需要从文件系统中读取压缩数据并还原为 SerializedRequest：

// LoadRequest 从 gzip 文件中读取并反序列化请求
func LoadRequest(filePath string, serializer Serializer) (*SerializedRequest, error) {
    f, err := os.Open(filePath)
    if err != nil {
        return nil, fmt.Errorf("open file failed: %w", err)
    }
    defer f.Close()

    gr, err := gzip.NewReader(f)
    if err != nil {
        return nil, fmt.Errorf("gzip reader failed: %w", err)
    }
    defer gr.Close()

    data, err := io.ReadAll(gr)
    if err != nil {
        return nil, fmt.Errorf("read gzip data failed: %w", err)
    }

    req, err := serializer.Unmarshal(data)
    if err != nil {
        return nil, fmt.Errorf("unmarshal failed: %w", err)
    }
    return req, nil
}

4.8 存储目录结构示例

经过分片与压缩后，本地文件系统的目录结构如下：

/data/requests/
├── 2025/
│   ├── 04/
│   │   ├── 08/
│   │   │   ├── a1/
│   │   │   │   ├── a1b2c3d4-e5f6-7890-abcd-ef1234567890.gz
│   │   │   │   └── a1b2c3d4-e5f6-7890-abcd-ef1234567891.gz
│   │   │   ├── b3/
│   │   │   │   └── b3c4d5e6-f7a8-9012-bcde-f12345678901.gz
│   │   │   └── ...
│   │   └── 09/
│   └── 05/
└── index/ (可选：元数据索引文件)