1. 量子Benchmark工程导论
量子计算正从“能跑通一个量子线路”走向“能稳定交付可复现的量子算力”。在这个转折点上,Benchmark(基准测试)不再只是论文里的一张对比图,而是一套贯穿硬件、编译、运行时与应用的工程方法。本章建立课程的任务地图:先明确量子软件与硬件Benchmark的定义、目标与利益相关方,再给出全生命周期视角,最后建立贯穿全课程的“评价指标意识”。
1.1 什么是量子Benchmark
量子Benchmark是用一组可重复、可比较、可解释的测量,刻画量子系统在特定任务上的能力边界。它包含三个不可分割的要素:
- 被测对象:可以是物理硬件(超导、离子阱、中性原子、光量子),也可以是软件栈(编译器、脉冲调度器、错误缓解、量子—经典混合运行时)。
- 任务负载:一组有明确输入与期望输出的量子程序或子程序,例如随机线路采样、量子体积线路、量子傅里叶变换、变分量子本征求解(VQE)的某次迭代、量子近似优化算法(QAOA)的固定层数线路。
- 度量与判据:保真度、成功率、执行时间、门计数、串扰水平、能量误差等,并配以明确的通过/失败阈值。
需要区分三个常被混用的概念:Benchmark是“用标准任务测能力”,Characterization是“刻画器件参数”(如T1、T2、读出保真度),Validation是“验证某个实现是否正确”。三者互补:Characterization提供参数输入,Benchmark给出端到端能力,Validation保证单点正确性。
1.2 目标与利益相关方
Benchmark的目标可归纳为四类:可比性(不同厂商、不同代际可横向比较)、可复现性(同一输入在相同条件下得到统计一致的结果)、可归因性(性能下降能定位到门错误、读出错误、编译开销或调度延迟)、可决策性(为选型、采购、优化方向提供依据)。
利益相关方决定了指标口径。硬件工程师关心门保真度与相干时间;编译与系统工程师关心线路深度、SWAP插入数与编译时延;算法与应用方关心端到端成功率与求解质量;运维与采购方关心稳定性、校准周期与成本;标准与评测机构关心口径统一。同一台设备,对“谁”而言“好”,答案可能完全不同,因此Benchmark报告必须写明被测对象、任务、度量、条件与阈值五要素。
1.3 全生命周期视角
把Benchmark当作一次性实验,是工程上最常见的失败模式。更合理的做法是把它看作一个闭环生命周期:从需求与指标定义出发,经过负载设计、环境标定、执行采集、统计分析、归因定位,再回到指标修订与回归基线维护。下图给出这一生命周期的结构关系,并标出各阶段的关键产物与反馈路径。
1.4 评价指标意识:从“跑通”到“可判定”
指标意识的核心是:任何结论都必须能回答“测什么、怎么测、误差多大、和谁比”。以量子体积(Quantum Volume, QV)为例,它通过随机SU(4)线路与重排模型,给出一个单一标量,便于横向比较;但它对连通性、读出误差与编译策略敏感,因此报告QV时必须同时给出设备拓扑、编译设置与shots。再如随机线路采样(XEB),常用“每周期保真度”与“估计电路保真度”两个量,前者便于拟合衰减,后者便于与经典模拟对比,二者不可互相替代。
在软件侧,指标同样需要工程化。例如编译器的评价不应只看“能否编译”,而应看:
- 门计数与深度:编译前后CNOT数、单比特门数、线路深度的变化。
- 路由开销:为满足拓扑约束插入的SWAP数量,以及由此带来的额外双比特门。
- 编译时延:从输入线路到可执行脉冲/指令的墙钟时间,尤其对变分算法每轮迭代都需编译的场景。
- 端到端成功率:在给定shots下,测量结果与理想分布的总变差距离(TVD)或Hellinger距离。
一个常见的教学示例:某5比特线路在理想模拟下TVD为0.02;在真实设备上以shots=4096重复10次,得到TVD均值0.11、标准差0.015。若阈值设为0.15,则“通过”;但若把shots降到1024,统计噪声会使标准差升至约0.03,此时单次结果可能越过阈值,说明阈值必须与统计不确定度一起定义,否则Benchmark会退化为“运气测试”。
1.5 课程任务地图
本课程后续将沿着“硬件—软件—系统—应用”四条主线展开,并始终以Benchmark为粘合剂:硬件侧覆盖门保真度、相干时间、串扰与读出基准;软件侧覆盖编译器、调度器、错误缓解与运行时;系统侧覆盖端到端工作流、数据采集与回归基线;应用侧覆盖VQE、QAOA、量子机器学习等任务级评测。每一章都会落到可执行的测量方案、参数设置与结果判读,而不是停留在概念对比。