4. 量子模型容量与泛化理论初步

在经典机器学习中,我们常用参数数量、VC 维或 Rademacher 复杂度来衡量一个模型“能装下多少东西”,并据此估计它在未见数据上的表现。量子模型面临同样的问题,但它的容量来源更隐蔽:参数只是表象,真正决定表达力的是希尔伯特空间的维度、纠缠的生成能力、电路深度以及测量方式共同塑造的有效假设空间。本节从四个相互关联的概念入手——有效维度、纠缠能力、电路深度与表达力、量子假设空间复杂度与泛化界——建立一套可以用于诊断过拟合的理论直觉。

一、参数数量不等于有效维度

一个含 L 层、每层 n 个量子比特、每层带 n 个可调旋转角的变分电路,表面上有约 L·n 个参数。但参数空间到输出分布的映射往往不是单射:不同的参数组合可能给出几乎相同的测量统计,某些方向上的梯度长期接近零,另一些方向则极其敏感。真正影响模型行为的,是参数化映射的雅可比矩阵所张成的局部切空间维数,这就是有效维度(effective dimension)的直观来源。

一个常用的估计方式是:在参数点附近采样若干组扰动,计算输出对参数的敏感度矩阵 F(其元素为各输出分量对各参数的偏导),再统计 F 的奇异值谱。若前 k 个奇异值占据了绝大部分能量,则有效维度约为 k,即使参数总数远大于 k。实践中可以这样操作:固定数据集与测量基,随机初始化参数 θ,对每个参数施加小扰动 ε(例如 1e-3),记录测量期望值的变化,构造敏感度矩阵并做奇异值分解。若发现有效维度随训练迅速塌缩,说明模型正在把容量集中到少数方向,这既可能带来稳定收敛,也可能意味着表达力被浪费。

有效维度是“局部”的:同一电路在不同参数区域的有效维度可以差别很大。诊断过拟合时,应关注训练过程中有效维度的变化趋势,而不是只看初始值。

二、纠缠能力:容量的物理来源

量子模型区别于经典模型的核心资源是纠缠。若电路只能产生直积态,其输出分布受限于乘积结构,假设空间相对狭窄;一旦引入受控门与纠缠层,态空间迅速扩张到 2n 维复空间。衡量纠缠能力可以用纠缠熵、纠缠负度,或在小型系统上直接计算约化密度矩阵的谱。

但纠缠并非“越多越好”。在数据嵌入阶段,如果编码电路本身就把输入映射到高度纠缠的态,那么不同样本在态空间中的距离可能被压缩,导致模型难以区分它们;在变分层,纠缠过强又可能让优化地形变得平坦或出现贫瘠高原。因此纠缠能力应被视为一把双刃剑:它扩大假设空间,同时改变优化难度与泛化行为。一个实用的检查是:对训练集与验证集分别计算编码后态的纠缠熵分布,若两者分布差异显著,说明模型可能在对纠缠结构“记忆”而非学习可迁移的模式。

量子模型容量的四个来源与泛化间隙 有效维度 敏感度矩阵奇异值谱 决定局部可分辨方向数 纠缠能力 纠缠熵 / 负度 扩张态空间,也改变地形 电路深度 层数与门序 决定可达酉变换范围 测量与读出 可观测量选择 决定输出信息量 量子假设空间复杂度 容量过大 → 泛化界变松 泛化间隙 = 测试误差 − 训练误差 诊断:容量、纠缠、深度与数据量是否匹配 依据间隙调整 深度 / 纠缠 / 正则

三、电路深度与表达力

深度决定了电路能生成的酉变换集合。浅层电路受限于局域门的作用范围,其可达态构成一个受限流形;增加深度可以逼近更一般的酉变换,但同时也带来两个代价:一是参数增多导致有效维度上升,二是深层变分电路更容易出现梯度消失。表达力与可训练性之间存在张力,这正是量子模型容量管理的核心矛盾。

一个可操作的判断方法是做“深度扫描”:固定数据与优化器,将变分层数从 1 逐步增加到 6,记录训练损失与验证损失。若训练损失随深度增加持续下降而验证损失在某一深度后回升,说明模型容量已超出数据支撑的范围,属于典型的容量型过拟合;若训练损失本身在深层反而变差,则更可能是优化困难而非容量问题。两类现象需要不同的改进手段:前者应减少深度、增加正则或扩充数据,后者应调整初始化、学习率或改用更易训练的电路结构。

四、量子假设空间复杂度与泛化界

泛化界试图用假设空间的复杂度来约束测试误差与训练误差之差。对量子模型,常见的复杂度度量包括电路所对应假设类的覆盖数、Rademacher 复杂度,以及基于量子通道的稳定秩等。一个简化的直觉是:泛化间隙大致随 √(C/m) 增长,其中 C 是假设空间复杂度,m 是训练样本数。这意味着当样本量固定时,任何提升容量的操作(加深电路、增强纠缠、增加可观测量的多样性)都会抬高复杂度上界,从而可能放大泛化间隙。

实际诊断中不必精确计算这些界,而应把它们当作“方向性指标”。例如,当训练集准确率接近 1 而验证集明显偏低时,可以依次检查:有效维度是否在训练后期异常升高、编码态纠缠熵在训练集与验证集上是否分布不一致、深度扫描是否出现验证损失拐点。若三项中有两项成立,基本可以判定为容量驱动的过拟合,改进方向应优先考虑数据增强、参数正则、限制纠缠层数或采用早停,而不是继续加深电路。

泛化界是上界而非预测值,实际间隙可能远小于界给出的估计。不要因为界很松就忽视容量问题,也不要因为界很紧就断定模型一定过拟合,应结合训练/验证曲线与有效维度趋势综合判断。

五、把四个概念串成诊断流程

面对一个训练准确率高、验证准确率低的量子模型,可以按以下顺序排查。第一步,计算训练前后的有效维度,若训练后期有效维度显著上升而验证误差同步恶化,指向容量过剩。第二步,比较训练集与验证集编码态的纠缠熵均值与方差,若差异明显,说明模型在记忆样本特有的纠缠结构。第三步,做深度扫描,定位验证损失的拐点深度,作为容量上限的参考。第四步,结合样本量估算泛化间隙的量级,判断当前数据量是否足以支撑该复杂度。四步结果共同决定改进优先级:数据不足则先扩数据,容量过剩则先减深度或加正则,优化困难则先调训练策略。

需要强调的是,这四个概念并非彼此独立:深度增加会同时抬高有效维度与纠缠能力,纠缠增强又会改变假设空间复杂度,而复杂度最终通过泛化界影响我们对过拟合的判断。理解它们之间的耦合关系,比单独记住任何一个指标都更重要。下一阶段的实际诊断中,我们将把这些指标转化为可记录的实验量,并据此设计对照实验。