4. 基准评估方法论
量子计算系统的基准评估，本质上不是“跑一个分数出来”，而是用一套可被他人复现、可被同行质疑、可被统计检验的方法，回答“这台设备在什么条件下、对哪类任务、达到了什么水平”。如果缺少方法论约束，同一台机器在不同实验室、不同校准窗口、不同编译策略下，可能给出相差数倍的指标，结论也就失去意义。本节围绕四个相互支撑的支柱展开：设计原则、可重复性、公平比较与统计显著性。
一、基准测试的设计原则
一个合格的量子基准，首先要明确它测量的是什么能力。量子体积（Quantum Volume）测的是“在给定宽度下能可靠执行的最深随机线路”，随机化基准（RB）测的是“单/双比特门在随机序列下的平均错误率”，交叉熵基准（XEB）测的是“随机线路输出分布与理想分布的接近程度”。三者不可互相替代，也不能用其中一个的分数去推断另一个。
设计原则可归纳为四条：
- 任务代表性：基准线路的纠缠结构、门深度、并行度应贴近目标应用，而不是只挑最容易的线路。
- 可扩展性：指标应随比特数、深度、连接度可连续变化，能画出“规模—保真度”曲线，而非单一标量。
- 抗作弊性：线路应由随机种子生成，避免针对固定线路做特殊优化；编译策略、映射方式需公开。
- 可解释性：输出应能对应到物理量，例如每层门错误率、读出错误率、串扰贡献，而不是一个黑箱分数。
以量子体积为例，其判定规则是：对宽度 n、深度 d 的随机线路，若重采样得到的重尾分布（heavy output probability, HOP）在 97.5% 置信下显著大于 2/3，则记该配置通过。量子体积取通过配置中最大的 2n。这个“置信下界 > 2/3”的判据，正是统计显著性被写进基准定义本身的典型例子。
二、可重复性：从“能跑”到“可复现”
可重复性要求：换一个人、换一天、换一台同型号设备，按文档操作能得到统计上一致的结论。它依赖三类信息的完整记录：
- 硬件状态：校准时间、T1/T2、读出保真度、门错误率、串扰矩阵、温度与磁通偏置。
- 软件栈：SDK 版本、编译 pass、映射算法、脉冲级参数、随机种子。
- 执行协议：shots 数、重复次数、是否交错执行、是否做 drift 校正。
实践中，超导量子比特的错误率会随校准周期漂移。若 A 组在上午校准后立即测，B 组在下午漂移后测，两者差异可能来自“时间”而非“方法”。因此推荐交错执行：把待比较的两个配置的线路交替送入同一批 job，使漂移对双方影响近似相同。同时应报告不确定度，例如用自助法（bootstrap）给出错误率均值的 95% 置信区间，而不是只报一个点估计。
三、公平比较：控制变量与归一化
公平比较的核心是“只让被比较的变量变化”。比较两台设备时，至少需要对齐以下维度：
| 维度 | 需对齐的内容 | 常见陷阱 |
|---|---|---|
| 比特数 | 使用相同宽度 n | 用 27 比特设备对比 127 比特设备的“总分” |
| 线路深度 | 相同 d 或相同门数 | 一方用更浅的等效线路 |
| 连接度 | 相同拓扑或相同 SWAP 开销 | 忽略映射引入的额外双比特门 |
| 编译 | 相同优化等级与映射策略 | 一方手工调优、一方默认编译 |
| shots | 相同统计量 | shots 不同导致置信区间不可比 |
当无法完全对齐时，应做归一化。例如比较不同连接度设备上的 XEB，可报告“每双比特门错误率”而非“整条线路保真度”；比较不同宽度时，可报告“每比特每层错误率”。归一化不是消除差异，而是把差异放到可解释的尺度上。
四、统计显著性：别把噪声当结论
量子测量本质是伯努利采样。若某配置理想 HOP 为 0.70，shots=1000，则标准误约为 √(0.7×0.3/1000)≈0.0145。两组各测一次得到 0.712 与 0.688，看似有差，但 95% 置信区间高度重叠，不能断言优劣。正确做法是：
- 设定原假设 H0：两组 HOP 无差异；
- 选择检验方法：比例检验、置换检验或 bootstrap；
- 给出 p 值与效应量（差值及其置信区间）；
- 若 p < 0.05 且效应量超过预设的“实际重要阈值”，才判定为显著更优。
下面这张图把上述方法论串成一条可执行的评估链：从设计原则出发，经过可重复性控制与公平对齐，最终由统计判据给出“是否显著”的结论，并反馈修正基准设计。
五、把方法论落到一份可执行的评估记录
为了让上述原则可操作，建议每次基准评估都产出一份结构化记录。以下字段可直接作为模板使用：
基准评估记录（示例模板）
----------------------------------------
基准名称：量子体积 / RB / XEB
被测设备：QPU-A（超导，n=27）
校准时间戳：2025-03-11T09:20Z
T1 中位数：85 us T2 中位数：62 us
读出保真度：98.7% 双比特门错误率：0.9%
编译栈：SDK v1.2，优化等级 O2，映射 SABRE
随机种子：seed=20250311
shots：2000 重复次数：5
执行方式：A/B 交错提交
指标结果：HOP 均值 0.712，95% CI [0.694, 0.730]
对照配置：QPU-B，HOP 均值 0.688，95% CI [0.670, 0.706]
检验方法：两比例置换检验，p=0.041
效应量：ΔHOP=0.024，超过预设阈值 0.02
结论：QPU-A 在该配置下显著更优
----------------------------------------