1. 课程导入与异常值问题界定

量子传感实验的数据处理,第一步往往不是"算",而是"信不信"。在讨论任何滤波、拟合或估计方法之前,必须先回答一个更基础的问题:这批数据里,哪些点还代表真实的物理信号,哪些点已经不再属于被测对象?本课程围绕这一问题展开,从异常值的识别、判定到处理与影响评估,建立一套可复现、可解释的数据清洗流程。作为开篇,本节先厘清量子传感数据的固有特征、异常值的定义与来源,以及它为什么会实质性地改变后续的物理推断。

量子传感数据的三个固有特征

量子传感(如NV色心磁测量、原子干涉重力仪、超导量子比特读出、离子阱频标等)输出的原始数据,与常规电子测量数据有明显差别,主要体现在三点。

高噪声。量子投影测量本质上是概率性的:单次测量只能以一定概率坍缩到某个本征态,读出信号天然带有散粒噪声。以NV色心ODMR(光探测磁共振)为例,单次荧光计数通常在数千到数万光子量级,而对应的磁信号变化可能只有千分之几的相对幅度,噪声与信号在同一量级甚至更大。

低信噪比。许多量子传感实验的有效信号被淹没在噪声中,需要靠大量重复平均(如几千到几万次扫频累加)才能浮现。这意味着单点数据的可信度很低,异常值往往与正常点难以凭肉眼区分,必须借助统计判据。

非平稳性。量子传感系统对环境和自身状态高度敏感。激光功率漂移、温度缓慢变化、磁场背景起伏、退相干时间随实验时长改变,都会使数据的均值与方差随时间漂移。因此,"用全局均值和标准差做3σ判据"这类平稳假设下的经典方法,在这里经常失效——一个缓慢漂移的正常数据段,可能被误判为异常;而一个真实的突变,又可能被漂移掩盖。

异常值的定义与四类来源

在本课程中,异常值定义为:在给定实验条件与噪声模型下,其出现概率显著低于正常波动范围、且不能由已知物理过程解释的观测点或数据段。这个定义有两个要点:一是"给定条件",判据必须结合当时的实验状态;二是"不能解释",可被物理机制解释的突变(如人为施加的磁场阶跃)不算异常值,而是有效信号。

异常值的来源可归为四类,处理策略各不相同:

  • 仪器故障:探测器饱和、ADC溢出、激光失锁、采集卡丢帧。特征是突变、平台化或整段缺失,通常成段出现。
  • 环境扰动:振动、温度骤变、市电干扰、邻近设备开关。特征是短时尖峰或周期性干扰,常与时间戳相关。
  • 量子退相干:退相干时间T₂*缩短导致对比度下降,表现为信号幅度整体衰减而非单点跳变,属于"系统性劣化",需与随机异常区分。
  • 人为操作:参数误设、样品移位、误触发。特征是阶跃或与操作日志时间对齐的突变。

下图给出本节的核心框架:从原始数据出发,经特征判断分流到四类来源,再对应到不同的处理路径与对参数估计的影响。

量子传感异常值:来源—判据—影响框架 原始观测序列 计数 / 相位 / 频率 特征提取 残差 / 漂移 / 对比度 仪器故障 饱和 / 溢出 / 丢帧 环境扰动 振动 / 温漂 / 电磁干扰 量子退相干 T₂* 缩短 / 对比度下降 人为操作 误设参数 / 样品移位 处理:整段剔除 + 重采 标记故障区间,不参与拟合 处理:时域/频域滤波 陷波去工频,滑动窗抑尖峰 处理:分段建模 + 对比度校正 按时间窗重估噪声,不硬删 处理:对齐操作日志后剔除 按事件时间戳切分数据段 共同后果:参数估计偏移、置信区间失真、物理推断被伪信号误导 → 进入后续章节:判据设计、稳健估计、影响量化

异常值如何改变物理推断

异常值的危害不在于"不好看",而在于它会系统性地扭曲参数估计。以最常见的两类推断为例。

其一,频率/磁场估计。NV色心ODMR谱线常用洛伦兹或高斯拟合提取共振频率,再换算磁场。若谱线某一侧混入几个异常高的计数点,最小二乘拟合会被拉偏,共振频率偏移可能达到线宽的几个百分点。假设线宽约2 MHz、目标频率2870 MHz,几个异常点就可能带来数十kHz的偏移,对应磁场误差在微特斯拉量级——对追求nT级分辨率的实验而言是致命的。

其二,退相干时间拟合。Rabi或Ramsey衰减曲线拟合T₂*时,若末端几个点因激光失锁而异常偏低,拟合出的衰减会偏快,T₂*被低估,进而影响对灵敏度η ∝ 1/(C·√T₂*)的判断,导致对系统性能的错误评估。

更隐蔽的问题是置信区间失真。异常值会同时抬高样本方差,使标准误变大,置信区间被不合理地放宽;而如果先粗暴删除再计算,又会人为缩小方差,给出过于乐观的误差棒。两种做法都会让后续的假设检验和物理结论失去可靠性。

本课程的整体框架

基于上述问题,本课程按"识别—判定—处理—评估"的主线组织:先建立量子传感数据的噪声模型与平稳性认识,再学习针对非平稳数据的异常判据(滑动窗统计、稳健Z分数、MAD、基于残差的检测),随后进入具体处理方法(剔除、插补、稳健拟合、分段建模),最后落到影响评估——处理前后参数估计与不确定度的对比,确保每一步清洗都有据可查、可复现。

学习建议:每处理一批数据,先记录实验条件(激光功率、温度、磁场背景、采集时长)与操作日志。异常判据必须与这些条件绑定,脱离实验状态的"3σ"没有意义。
常见误区:把"看起来偏离趋势"的点一律删除。量子传感中缓慢漂移是正常现象,先判断偏离是相对局部趋势还是相对全局均值,再决定是否处理。