3、基准测试方法论：固定迭代法、固定数据法、预热与稳定期判断、多次运行取中位数

做GPU集群性能回归分析，说白了就是回答一个问题：这次改动，到底是快了还是慢了？

但这个问题没那么简单。你想想看，GPU跑起来波动很大，一次快一次慢很正常。我见过不少团队，跑一次就下结论，结果被波动坑得团团转。所以，我们需要一套靠谱的基准测试方法论。

我个人习惯，把方法论拆成四个核心部分。咱们一个一个聊。

固定迭代法：控制变量，跑够次数

固定迭代法，就是让模型跑固定的迭代次数，比如1000步。然后看总耗时。

这方法最直观。我在项目中遇到过，有人只跑100步就停了，结果前几步还在预热，数据根本不准。我的建议是：迭代次数要足够多，至少覆盖掉启动和预热的开销。

举个例子：

# 固定迭代法示例
NUM_ITERATIONS = 1000
start = time.time()
for i in range(NUM_ITERATIONS):
    output = model(input_data)
end = time.time()
total_time = end - start
print(f"总耗时: {total_time:.2f} 秒")

这里要注意，NUM_ITERATIONS 不能太小。我曾经见过一个案例，迭代次数设成50，结果每次跑出来的时间差30%以上。后来改成500，波动立马降到5%以内。

固定数据法：压测吞吐，看极限

固定数据法，是反过来。固定一个数据集大小，比如处理完100GB数据，看谁用时短。

这方法更适合测吞吐上限。我建议在对比不同集群规模时用这个。比如，你从8卡扩到16卡，想知道加速比是不是线性的？固定数据法最合适。

# 固定数据法示例
TOTAL_DATA_SIZE = 100 * 1024 * 1024 * 1024  # 100GB
processed = 0
start = time.time()
while processed < TOTAL_DATA_SIZE:
    batch = get_next_batch()
    output = model(batch)
    processed += batch_size
end = time.time()
throughput = TOTAL_DATA_SIZE / (end - start)
print(f"吞吐量: {throughput:.2f} GB/s")

嗯，这里有个坑。固定数据法对数据加载速度很敏感。如果你的IO是瓶颈，那测出来的就不是GPU性能，而是硬盘性能了。我曾经被这个坑过一次，后来加了预加载和异步数据流水线才解决。

预热与稳定期判断：别被前几步骗了

这是最容易被忽略的一步。GPU刚启动时，显存分配、CUDA内核加载、缓存填充……这些都会让前几步特别慢。

我习惯的做法是：先跑10-20步预热，然后才开始计时。但问题来了，怎么判断预热结束了？

我个人经验，看loss或者看每步耗时。当每步耗时稳定在一个小范围内波动时，就算预热完成了。比如：

# 预热与稳定期判断示例
WARMUP_STEPS = 20
MEASURE_STEPS = 100
losses = []

for i in range(WARMUP_STEPS + MEASURE_STEPS):
    loss = train_step()
    losses.append(loss)
    if i == WARMUP_STEPS - 1:
        print("预热完成，开始记录")

# 只取后 MEASURE_STEPS 步的数据
stable_losses = losses[WARMUP_STEPS:]
avg_loss = sum(stable_losses) / len(stable_losses)
print(f"稳定期平均loss: {avg_loss:.4f}")

你想想看，如果不预热，前几步的数据会把平均值拉高很多。我见过有人跑100步，前20步预热，后80步稳定。结果他直接取100步的平均，比实际稳定期慢了15%。

多次运行取中位数：对抗随机波动

GPU跑训练，每次结果都不一样。原因很多：系统调度、内存带宽竞争、甚至温度导致的降频。

所以，跑一次就下结论，那是赌博。我建议：至少跑3次，取中位数。

为什么是中位数而不是平均值？因为平均值对异常值太敏感了。万一某次被系统进程抢了资源，跑得特别慢，平均值就被拉高了。中位数则稳健得多。

# 多次运行取中位数示例
import statistics

def run_benchmark():
    # 模拟一次基准测试
    import random
    return random.gauss(100, 5)  # 均值100，标准差5

results = []
for run_id in range(5):
    result = run_benchmark()
    results.append(result)
    print(f"第{run_id+1}次: {result:.2f}")

median = statistics.median(results)
print(f"中位数: {median:.2f}")

我曾经在优化一个分布式训练框架时，跑5次取中位数，发现优化后的中位数比优化前快了12%。但如果取平均值，因为有一次被干扰，只快了6%。中位数帮我准确判断了优化效果。

知识体系核心逻辑

下面这张图，是我自己梳理的基准测试方法论框架。你可以看到，四个方法不是孤立的，而是层层递进的关系。

从图中你可以看到，固定迭代法和固定数据法是两种不同的测量策略。选好策略后，必须经过预热和稳定期判断，过滤掉启动噪声。最后，多次运行取中位数，确保结果不被偶然因素干扰。

这套方法论，我在多个项目中验证过。不管是单卡训练还是千卡集群，只要按这个流程走，结果都很稳定。你想想看，如果每次改动都能准确判断性能变化，那回归分析就不再是玄学，而是科学了。

好了，基准测试的方法论就聊到这里。记住，没有方法论的基准测试，就是瞎跑。下次你遇到性能波动，不妨试试这套流程，你会发现世界清净了很多。