3. 异常值检测的统计学基础

在量子传感实验中，我们拿到的往往是一串按时间排列的采样值，例如NV色心磁强计连续输出的荧光计数、原子钟比对得到的频率偏差、SQUID的磁通响应等。要判断某个点“异常”，本质上是在问：这个点与其余数据所代表的正常波动相比，偏离得是否足够离谱。这个问题无法脱离统计假设来回答，因此本节先把描述性统计、分布假设和稳健统计量这三块地基打牢，再对比经典Z分数与稳健Z分数在量子传感数据上的适用性，最后用一段模拟噪声数据说明阈值选择如何同时牵动检出率与误报率。

描述性统计与分布假设：先看清数据长什么样

描述性统计给出的是数据的“轮廓”。均值与标准差刻画中心与离散程度，但两者都对极端值敏感；中位数与四分位距（IQR）则对尾部污染不敏感。量子传感数据常见的形态是：主体近似高斯，但夹杂少量尖峰（如宇宙射线击中探测器、激光失锁瞬间、振动冲击）或缓慢漂移（温漂、磁场环境变化）。这意味着“全体数据服从单一高斯分布”的假设经常不成立，而异常值检测方法恰恰依赖这个假设。

因此动手前应先做两件事：一是画直方图或分位数图，观察主体是否对称、尾部是否过厚；二是计算偏度与峰度，粗略判断偏离高斯的程度。若峰度显著大于3（超额峰度大于0），说明尾部比高斯更重，此时用均值±3σ做阈值会低估异常比例，需要更稳健的尺度估计。这一步不是形式主义，它直接决定后面选哪种统计量。

稳健统计量：中位数、MAD与截尾均值

稳健统计量的核心思想是“让少量污染点无法撬动整体估计”。中位数是排序后位于中间的值，其崩溃点约为50%，即近一半数据被污染前仍然可靠。中位数绝对偏差（MAD）定义为各点与中位数之差的绝对值的中位数，再乘以1.4826使其在高斯下与标准差一致：

MAD = 1.4826 × median( |x_i − median(x)| )

截尾均值则是去掉最高和最低各一定比例（如各5%或10%）后对剩余数据求均值，兼顾了效率与稳健性。三者的取舍是：中位数最稳健但效率略低，MAD是稳健的尺度估计，截尾均值在污染比例已知且不大时表现均衡。对量子传感数据，通常用中位数定位中心、用MAD估计尺度，构成稳健检测的基准。

经典Z分数与稳健Z分数

经典Z分数为 z_i = (x_i − x̄) / s，其中x̄为样本均值、s为样本标准差。它的致命弱点是“掩蔽效应”：异常值本身会抬高均值和标准差，使自己的Z分数被压低，从而逃过检测；同时它也会把正常点的Z分数拉小，造成漏检。

稳健Z分数（也称修正Z分数）改用中位数与MAD：

z_i^rob = 0.6745 × (x_i − median(x)) / MAD

常数0.6745使该量在高斯下与经典Z分数同尺度（对应标准正态的0.75分位数）。由于中位数和MAD不被少数异常点牵动，稳健Z分数能更真实地反映“某点相对主体分布偏离了多少”。在量子传感中，当污染比例超过约5%～10%时，经典Z分数的检出能力明显下降，而稳健Z分数仍能保持较稳定的表现，这是它更适合本课程场景的根本原因。

阈值选择：检出率与误报率的拉锯

阈值k决定了判定边界。对稳健Z分数，常用k=3（约对应高斯下0.27%的双侧误报率）或k=3.5（更保守）。但量子传感数据尾部常比高斯厚，实际误报率会高于理论值。下面用一段模拟数据说明这种拉锯（以下为教学示例，非实测结果）：

设主体为均值0、标准差1的高斯噪声，共1000点，另注入10个幅值为6σ的尖峰。用稳健Z分数分别取k=2.5、3.0、3.5、4.0进行判定，可观察到：k=2.5时10个尖峰全部检出，但正常点中约有40～50个被误判（误报率约4%～5%）；k=3.0时尖峰仍全部检出，误报降到约10个（约1%）；k=3.5时误报约3个，但开始有1～2个较弱尖峰漏检；k=4.0时误报近乎为零，却有3～4个尖峰漏检。可见阈值每提高一档，误报下降而漏检上升，二者不可兼得。

工程上的做法不是追求单一“最优k”，而是根据下游任务定优先级：若异常点会导致后续拟合严重偏移，宁可多报（取较小k，如2.5～3.0），再靠人工或二次规则复核；若异常标记会触发停机或报警，则应取较大k（3.5～4.0）以压低误报。更稳妥的是双阈值策略：稳健Z分数超过k1（如3.0）记为“疑似”，超过k2（如5.0）记为“确认”，中间地带结合相邻点的连续性（尖峰通常孤立、漂移通常连续）再判定。

总结来看，经典Z分数适合数据干净、污染极少的场合；量子传感实验更常见的是含尖峰与漂移的混合噪声，稳健Z分数配合中位数/MAD是更可靠的基线。阈值不是固定常数，而是由数据尾部形态和下游任务共同决定的工程参数，必须通过实际统计来标定，而不是照搬3σ。