1. 量子Benchmark工程导论

量子计算正从“能跑通一个量子线路”走向“能稳定交付可复现的量子算力”。在这个转折点上,Benchmark(基准测试)不再只是论文里的一张对比图,而是一套贯穿硬件、编译、运行时与应用的工程方法。本章建立课程的任务地图:先明确量子软件与硬件Benchmark的定义、目标与利益相关方,再给出全生命周期视角,最后建立贯穿全课程的“评价指标意识”。

1.1 什么是量子Benchmark

量子Benchmark是用一组可重复、可比较、可解释的测量,刻画量子系统在特定任务上的能力边界。它包含三个不可分割的要素:

  • 被测对象:可以是物理硬件(超导、离子阱、中性原子、光量子),也可以是软件栈(编译器、脉冲调度器、错误缓解、量子—经典混合运行时)。
  • 任务负载:一组有明确输入与期望输出的量子程序或子程序,例如随机线路采样、量子体积线路、量子傅里叶变换、变分量子本征求解(VQE)的某次迭代、量子近似优化算法(QAOA)的固定层数线路。
  • 度量与判据:保真度、成功率、执行时间、门计数、串扰水平、能量误差等,并配以明确的通过/失败阈值。

需要区分三个常被混用的概念:Benchmark是“用标准任务测能力”,Characterization是“刻画器件参数”(如T1、T2、读出保真度),Validation是“验证某个实现是否正确”。三者互补:Characterization提供参数输入,Benchmark给出端到端能力,Validation保证单点正确性。

1.2 目标与利益相关方

Benchmark的目标可归纳为四类:可比性(不同厂商、不同代际可横向比较)、可复现性(同一输入在相同条件下得到统计一致的结果)、可归因性(性能下降能定位到门错误、读出错误、编译开销或调度延迟)、可决策性(为选型、采购、优化方向提供依据)。

利益相关方决定了指标口径。硬件工程师关心门保真度与相干时间;编译与系统工程师关心线路深度、SWAP插入数与编译时延;算法与应用方关心端到端成功率与求解质量;运维与采购方关心稳定性、校准周期与成本;标准与评测机构关心口径统一。同一台设备,对“谁”而言“好”,答案可能完全不同,因此Benchmark报告必须写明被测对象、任务、度量、条件与阈值五要素。

1.3 全生命周期视角

把Benchmark当作一次性实验,是工程上最常见的失败模式。更合理的做法是把它看作一个闭环生命周期:从需求与指标定义出发,经过负载设计、环境标定、执行采集、统计分析、归因定位,再回到指标修订与回归基线维护。下图给出这一生命周期的结构关系,并标出各阶段的关键产物与反馈路径。

量子Benchmark全生命周期闭环 需求 → 负载 → 标定 → 执行 → 分析 → 归因 → 回归基线 ① 需求与指标 定义被测对象 选定度量与阈值 ② 负载设计 线路/任务集 输入与期望输出 ③ 环境标定 T1/T2、读出误差 门保真度快照 ④ 执行采集 shots、重复次数 原始计数与时间戳 ⑤ 统计分析 均值/方差/置信区间 成功率与误差棒 ⑥ 归因定位 门错误 / 读出 / 编译 调度延迟分解 ⑦ 回归基线 版本化基线 漂移告警阈值 反馈:指标修订 / 负载调整 / 阈值重设 关键产物: 指标定义卡 · 负载清单 · 标定快照 · 原始数据 · 统计报告 · 归因结论 · 版本化基线 判据示例:成功率 ≥ 0.90 且 95% 置信区间半宽 ≤ 0.02,视为该任务通过;否则进入归因流程。

1.4 评价指标意识:从“跑通”到“可判定”

指标意识的核心是:任何结论都必须能回答“测什么、怎么测、误差多大、和谁比”。以量子体积(Quantum Volume, QV)为例,它通过随机SU(4)线路与重排模型,给出一个单一标量,便于横向比较;但它对连通性、读出误差与编译策略敏感,因此报告QV时必须同时给出设备拓扑、编译设置与shots。再如随机线路采样(XEB),常用“每周期保真度”与“估计电路保真度”两个量,前者便于拟合衰减,后者便于与经典模拟对比,二者不可互相替代。

在软件侧,指标同样需要工程化。例如编译器的评价不应只看“能否编译”,而应看:

  • 门计数与深度:编译前后CNOT数、单比特门数、线路深度的变化。
  • 路由开销:为满足拓扑约束插入的SWAP数量,以及由此带来的额外双比特门。
  • 编译时延:从输入线路到可执行脉冲/指令的墙钟时间,尤其对变分算法每轮迭代都需编译的场景。
  • 端到端成功率:在给定shots下,测量结果与理想分布的总变差距离(TVD)或Hellinger距离。

一个常见的教学示例:某5比特线路在理想模拟下TVD为0.02;在真实设备上以shots=4096重复10次,得到TVD均值0.11、标准差0.015。若阈值设为0.15,则“通过”;但若把shots降到1024,统计噪声会使标准差升至约0.03,此时单次结果可能越过阈值,说明阈值必须与统计不确定度一起定义,否则Benchmark会退化为“运气测试”。

建立指标意识的一个实用习惯:在写下任何性能数字时,同时写下它的测量条件(设备、拓扑、编译选项、shots、重复次数、校准时间)与不确定度。缺少这三者的数字,在工程上不可用于决策。

1.5 课程任务地图

本课程后续将沿着“硬件—软件—系统—应用”四条主线展开,并始终以Benchmark为粘合剂:硬件侧覆盖门保真度、相干时间、串扰与读出基准;软件侧覆盖编译器、调度器、错误缓解与运行时;系统侧覆盖端到端工作流、数据采集与回归基线;应用侧覆盖VQE、QAOA、量子机器学习等任务级评测。每一章都会落到可执行的测量方案、参数设置与结果判读,而不是停留在概念对比。