测试数据准备：数据生成策略、真实数据与模拟数据的选择、数据清洗与预处理

做算法性能验证这么多年，我踩过最大的坑，其实不是算法本身，而是数据。你想想看，一个排序算法在随机数上跑得飞快，换到真实业务数据上直接卡死——这种事我遇到过不下十次。所以今天咱们好好聊聊测试数据准备这件事。

数据生成策略：别让数据成为你的盲区

我个人习惯把数据生成分成三类：随机生成、边界构造、模式模拟。这三类各有各的用处，缺一不可。

随机生成

这是最基础的手段。但要注意，纯随机数往往不够「真实」。比如测试排序算法，如果数据全是均匀分布的随机整数，那你的算法可能只验证了平均情况。我建议这样生成：

# 生成不同分布的数据
import random
import numpy as np

# 均匀分布
data_uniform = [random.randint(0, 10000) for _ in range(10000)]

# 正态分布（模拟真实业务中的聚集现象）
data_normal = np.random.normal(5000, 1500, 10000).astype(int)

# 偏态分布（模拟长尾数据）
data_skewed = [int(random.expovariate(0.001)) for _ in range(10000)]

为什么要搞这么多种？因为不同分布对算法性能影响巨大。快速排序在均匀分布下表现优异，但遇到大量重复元素时可能退化到 O(n²)。

边界构造

边界数据是算法的照妖镜。我曾经因为没测试空数组，上线后直接导致服务崩溃——嗯，这种低级错误犯一次就够了。

边界类型	示例	测试目的
空数据	[]	检查算法对空输入的容错
单元素	[42]	验证最小规模下的逻辑
全相同	[1,1,1,...,1]	测试算法对重复数据的处理
逆序	[10000,9999,...,1]	测试最坏情况下的性能
最大规模	10^6 级别	验证内存和时间上限

模式模拟

这是最接近真实场景的生成方式。比如你要测试一个缓存淘汰算法，光用随机访问序列是不够的。真实场景中，用户访问往往有局部性——热点数据会被反复访问。

# 模拟热点访问模式
def generate_hotspot_data(total_size, hot_ratio=0.2):
    """生成具有热点效应的访问序列"""
    hot_keys = list(range(int(total_size * hot_ratio)))
    cold_keys = list(range(int(total_size * hot_ratio), total_size))
    
    # 80% 的访问集中在 20% 的热点数据上
    result = []
    for _ in range(total_size):
        if random.random() < 0.8:
            result.append(random.choice(hot_keys))
        else:
            result.append(random.choice(cold_keys))
    return result

真实数据与模拟数据的选择

这个问题其实没有标准答案。我个人的经验是：前期用模拟数据，后期用真实数据。为什么？

• 模拟数据：可控、可复现、容易构造边界情况。适合算法开发阶段的快速迭代。
• 真实数据：包含噪声、缺失值、异常分布。适合上线前的最终验证。

举个例子。我之前做一个推荐系统的性能优化，模拟数据下算法响应时间稳定在 10ms 以内。结果一上真实数据，直接飙到 200ms。查了半天才发现，真实数据中有大量长尾用户，他们的行为数据稀疏到几乎无法做协同过滤。模拟数据根本没想到要构造这种场景。

数据清洗与预处理

数据清洗不是数据分析师的专利，做性能验证同样需要。脏数据会导致测试结果失真，甚至掩盖性能问题。

常见的脏数据问题

1. 缺失值：空值可能导致算法跳过某些分支，性能测试结果偏乐观。
2. 异常值：比如一个本该在 0-100 之间的数值，突然出现一个 10^9，可能触发算法的特殊处理逻辑。
3. 重复数据：大量重复数据会影响哈希表、树结构等数据结构的性能表现。
4. 格式不一致：比如时间戳有的用毫秒，有的用秒，算法处理时可能产生额外开销。

预处理流程

我一般按这个流程来做：

def preprocess_for_perf_test(raw_data):
    # 1. 去重（保留重复率统计）
    dup_ratio = 1 - len(set(raw_data)) / len(raw_data)
    print(f"重复率: {dup_ratio:.2%}")
    
    # 2. 处理缺失值（记录缺失比例）
    missing_count = sum(1 for x in raw_data if x is None)
    print(f"缺失率: {missing_count/len(raw_data):.2%}")
    
    # 3. 异常值检测（3-sigma原则）
    mean = np.mean(raw_data)
    std = np.std(raw_data)
    outliers = [x for x in raw_data if abs(x - mean) > 3 * std]
    print(f"异常值数量: {len(outliers)}")
    
    # 4. 标准化（可选，取决于算法需求）
    # 注意：标准化本身也会消耗性能，测试时要考虑进去
    return raw_data

知识体系总览

下面这张图是我自己总结的数据准备知识框架，你可以对照着检查自己的测试方案是否完整。

说白了，数据准备这件事没有捷径。你花在数据上的每一分钟，都会在后续的性能验证中加倍回报给你。我见过太多团队把精力全放在算法调优上，结果被数据问题搞得焦头烂额。记住：好的测试数据，是性能验证的基石。

可可精品资料库