4. 样本数据清洗：去重、异常值处理、缺失值填充、格式统一化、数据脱敏技术

原始采集的压测样本往往包含脏数据、重复记录、格式不一致以及敏感信息。数据清洗的目标是将原始样本转化为高质量、可复用的特征数据集，确保压测结果的可信度与合规性。本章围绕五个核心环节展开：去重、异常值处理、缺失值填充、格式统一化与数据脱敏。

4.1 数据去重

重复样本会导致压测流量分布失真，使某些接口或参数被过度测试，而其他路径覆盖不足。去重需区分完全重复与业务语义重复。

4.2 异常值处理

异常值通常由采集抖动、埋点错误或恶意流量注入导致。若不处理，会污染特征分布，使压测模型产生偏差。常用检测与处理方法如下：

• 统计法：基于箱线图（IQR）或 Z-Score 识别离群点，适用于数值型字段（如响应时间、请求体大小）。
• 规则法：定义业务合法范围（如状态码只能为 200/404/500），超出范围直接标记为异常。
• 聚类法：使用 DBSCAN 或孤立森林对多维特征进行异常检测，适合复杂关联场景。

处理方式包括：删除异常记录、替换为边界值（Winsorize）、或标记异常标签供后续特征工程使用。

# 示例：基于 Z-Score 的异常值标记（Python 伪代码）
import numpy as np

def mark_outliers_zscore(series, threshold=3):
    z = np.abs((series - series.mean()) / series.std())
    return series.where(z < threshold, other=np.nan)  # 异常值置为缺失

4.3 缺失值填充

样本中缺失字段可能来自网络截断、协议解析失败或可选参数未携带。填充策略需结合字段类型与业务含义：

4.4 格式统一化

不同数据源（Nginx 日志、APM 链路、DB 导出）的字段格式往往不一致。格式统一化是后续特征提取与聚合的前提：

• 时间格式：统一为 ISO 8601（如 2025-03-21T14:30:00Z），时区转为 UTC。
• 数值精度：浮点数统一保留 2 位小数，整型去除千分位逗号。
• 枚举值映射：如 GET / get / Get 统一转为大写 GET。
• 编码转换：所有文本字段统一为 UTF-8，去除 BOM 头。

# 示例：时间格式统一化（Python）
from datetime import datetime

def normalize_timestamp(raw):
    # 支持多种输入格式
    for fmt in ["%Y-%m-%d %H:%M:%S", "%d/%b/%Y:%H:%M:%S", "%Y%m%d%H%M%S"]:
        try:
            return datetime.strptime(raw, fmt).isoformat() + "Z"
        except ValueError:
            continue
    return None  # 无法解析则标记为缺失

4.5 数据脱敏技术

压测样本常包含用户手机号、身份证、银行卡等敏感信息。脱敏必须在清洗阶段完成，确保样本可安全用于测试环境与外部协作。常用脱敏技术如下：

4.6 清洗效果验证

清洗完成后，需通过以下指标验证清洗质量：

• 去重率：（清洗前记录数 - 清洗后记录数）/ 清洗前记录数，反映重复数据占比。
• 异常值占比：被标记或处理的异常记录数 / 总记录数，应低于预设阈值（如 5%）。
• 缺失率：每个字段的缺失值比例，清洗后应降至 0% 或可接受范围。
• 脱敏覆盖率：敏感字段的脱敏比例，必须达到 100%。