3. Benchmark设计原则

量子算法Benchmark（基准测试）的目标，不是证明“量子更快”，而是给出一个可被同行检验、可被复现、可被公平比较的性能结论。一个设计不良的Benchmark，往往在指标上“赢”了，却在科学上站不住脚。本节围绕五条核心原则展开：公平性、可复现性、可扩展性、统计显著性与硬件无关性，并指出常见陷阱。

一、公平性：比较的是算法，不是资源堆叠

公平性要求量子方案与经典基线在同等约束下比较。关键约束包括：问题规模定义、精度目标、允许的预处理与后处理、时间/内存预算、以及是否允许经典优化器参与。常见陷阱是“量子端只算量子线路，经典端却算上全部优化开销”，或反过来把量子线路的编译时间排除在外。

一个可操作的公平性检查表如下：

例如在变分量子本征求解（VQE）对比中，若量子侧使用200次函数评估，经典侧也应允许同等评估次数，否则比较的是“优化预算”而非“算法能力”。

二、可复现性：随机种子、版本与原始数据

可复现性要求任何人拿到你的Benchmark描述后，能在合理时间内得到统计上一致的结果。必须固定并公开：随机种子、量子线路编译选项、shots数、经典优化器版本与超参、硬件校准时间戳。常见陷阱是只报告“最好一次”的结果，或使用未公开的私有后端。

建议在Benchmark报告中附带如下元数据：

benchmark_id: qaoa_maxcut_n12
seed: 20240517
backend: simulator_statevector / real_device_calib_2024-05-16
shots: 8192
optimizer: COBYLA, maxiter=200, tol=1e-6
classical_baseline: Goemans-Williamson, 1000 trials
metric: approximation_ratio, mean ± 95% CI

没有这些字段，结果只能算“演示”，不能算“基准”。

三、可扩展性：规模趋势比单点成绩更重要

可扩展性要求Benchmark能随问题规模 n 增长而系统性地测量。单点比较（如 n=10）容易受偶然因素影响，应至少覆盖3～5个规模点，并观察指标随 n 的变化趋势。常见陷阱是只选量子方案“恰好表现好”的规模，或经典基线未使用可扩展算法（如用暴力枚举代替启发式）。

可扩展性还要求明确资源增长曲线：量子比特数、线路深度、shots需求如何随 n 变化；经典侧的时间/内存如何增长。若量子线路深度随 n 指数增长，即使小规模占优，也不具备可扩展性。

四、统计显著性：不要用单次运行下结论

量子硬件与模拟器均含随机性，单次结果不可靠。统计显著性要求：每个配置重复多次（如30次独立运行），报告均值、标准差与置信区间，并做假设检验。常见陷阱是只报告均值不报告方差，或用“最好一次”与经典“平均一次”比较。

判断依据示例：若量子方案在 n=12 上近似比为 0.92±0.01，经典基线为 0.90±0.02，则需做 t 检验或 bootstrap，确认差异是否显著（p<0.05）。若置信区间大幅重叠，不能宣称量子占优。

五、硬件无关性：算法层面与设备层面分离

硬件无关性要求Benchmark的核心指标尽量不依赖特定硬件。做法是：在抽象线路层面定义算法，再在多个后端（模拟器、不同厂商硬件）上运行，报告“算法性能”与“设备噪声影响”两个层次。常见陷阱是把某台设备的校准优势当成算法优势。

例如同一QAOA线路在理想模拟器、含噪模拟器、真实设备上分别运行，可分离出：算法本身近似比、噪声导致的退化量、以及设备间差异。这样结论才具有普适性。

常见陷阱与规避策略

除上述各原则对应的陷阱外，还有三类高频问题：

• 指标选择偏差：只报告近似比，不报告达到该近似比所需的时间与shots。应同时报告“质量—成本”二维指标。
• 基线过弱：经典基线使用未调优的默认参数。应至少使用成熟求解器（如CPLEX、Gurobi或成熟启发式）并调参。
• 规模选择偏差：只选量子占优的 n。应预先注册规模点，避免事后挑选。

一个可执行的最小Benchmark模板

将五原则落到操作层，可用如下模板组织一次对比实验：

1. 实例：MaxCut，n ∈ {8, 10, 12, 14}，每规模5个随机图，固定种子
2. 量子方案：QAOA p=1,2；shots=8192；每配置30次独立运行
3. 经典基线：Goemans-Williamson + 局部搜索，同等时间预算
4. 指标：近似比 mean±95%CI；端到端时间；线路深度
5. 判据：若量子近似比均值高于经典且CI不重叠，记为“显著占优”
6. 报告：附种子、版本、校准时间戳、原始数据链接

这套模板并不复杂，但它把公平性（同等预算）、可复现性（种子与版本）、可扩展性（多规模）、统计显著性（30次与CI）、硬件无关性（抽象线路+多后端）同时纳入。Benchmark的价值不在于一次胜负，而在于让结论经得起别人重跑一遍。