3. 样本数据采集：日志采集、数据库抽取、API抓取、埋点数据收集方法与工具

样本数据采集是压力测试样本构建的起点，决定了测试样本的真实性、覆盖度和时效性。生产环境中的数据源通常以四种形态存在：日志文件、数据库记录、API 响应和埋点事件。本章逐一拆解每种采集方式的适用场景、核心工具链与关键避坑点。

3.1 日志采集：从静态文件到实时流

日志是最易获取的请求样本源，但原始日志通常包含大量无关字段、格式不统一、时间戳精度不足等问题，需要经过清洗和结构化才能用于压测。

3.1.1 采集工具对比

3.1.2 日志采集流程

1. 定位日志路径：确认应用日志、访问日志、错误日志的存储位置与滚动策略。
2. 配置采集 Agent：设置多行合并（如 Java 异常栈）、编码转换、字段裁剪。
3. 过滤与清洗：剔除健康检查、爬虫、内网探测等非用户请求。
4. 结构化输出：将原始文本转为 JSON 格式，保留 timestamp、method、path、status、latency。
5. 写入存储：输出到 Kafka 或 Elasticsearch 供后续样本提取。

# Filebeat 配置示例（采集 Nginx 访问日志）
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
  multiline.pattern: '^\d{4}-\d{2}-\d{2}'
  multiline.negate: true
  multiline.match: after

output.kafka:
  hosts: ["kafka1:9092", "kafka2:9092"]
  topic: "nginx-access-log"
  partition.round_robin:
    reachable_only: false

3.2 数据库抽取：从持久化层还原请求

当日志保留周期短或日志字段不完整时，数据库记录成为重要的样本补充来源。数据库抽取的核心挑战在于：如何从业务表中还原出完整的请求上下文，而非直接导出原始数据。

3.2.1 抽取策略

3.2.2 常用工具

• DataX（阿里）：异构数据源批量同步，支持 MySQL、Oracle、HDFS、Hive。
• Canal（阿里）：基于 MySQL binlog 的增量订阅与消费，适合实时样本采集。
• Debezium：Kafka Connect 生态的 CDC 组件，支持 MySQL、PostgreSQL、MongoDB。
• Kettle / Pentaho：ETL 工具，适合复杂转换逻辑的离线抽取。

-- 增量抽取示例：基于时间戳的订单样本提取
SELECT
  order_id,
  user_id,
  product_id,
  amount,
  request_time,
  response_code,
  response_body
FROM trade_order
WHERE request_time >= '2025-03-01 00:00:00'
  AND request_time < '2025-03-02 00:00:00'
  AND response_code = '200'
ORDER BY request_time ASC
LIMIT 10000;

3.3 API 抓取：实时录制与回放

API 抓取适用于无法直接获取日志或数据库访问权限的场景，通过代理或流量镜像的方式实时捕获请求样本。

3.3.1 抓取方式

1. 反向代理录制：在 Nginx / OpenResty 层配置 lua 脚本，将请求体写入本地文件或 Kafka。
2. 流量镜像：使用 Istio / Envoy 的流量镜像功能，将请求复制一份到采集服务。
3. tcpdump + 解析：在网关服务器抓取网络包，再通过 Wireshark 或自研工具解析 HTTP 协议。
4. 录制工具：GoReplay、Mitmproxy、Charles 等工具可直接录制请求并导出为压测格式。

3.3.2 GoReplay 录制示例

# 录制 80 端口的 HTTP 请求，输出到文件
gor --input-raw :80 --output-file requests.gor

# 录制并过滤静态资源
gor --input-raw :80 --output-file requests.gor \
    --output-http-track-response \
    --http-allow-url ^/api/

3.4 埋点数据收集：用户行为样本

埋点数据记录了用户在客户端（Web、App、小程序）的完整操作序列，是构建用户行为级压测样本的最佳来源。与后端日志不同，埋点数据包含页面浏览、点击、滑动、停留时长等前端交互信息。

3.4.1 埋点采集架构

3.4.2 埋点样本提取要点

• 会话切割：根据 session_id 将埋点事件聚合成用户会话，每个会话对应一次完整的用户访问。
• 操作序列：按时间戳排序，提取页面跳转、API 调用、表单提交等关键事件。
• 参数脱敏：埋点中可能包含设备 ID、地理位置等隐私字段，导出前需脱敏或泛化。
• 采样策略：全量埋点数据量极大，建议按用户 ID 哈希采样（如 10% 用户），保证样本代表性。

-- 埋点样本提取 SQL（ClickHouse）
SELECT
  session_id,
  user_id_hash,
  event_name,
  event_time,
  page_url,
  api_path,
  request_body,
  response_code,
  duration_ms
FROM user_tracking.events
WHERE event_date = '2025-03-15'
  AND event_name IN ('page_view', 'api_call', 'form_submit')
  AND user_id_hash % 10 = 0  -- 10% 采样
ORDER BY session_id, event_time

3.5 四种采集方式对比总结