2. 光谱数据预处理工程

原始光谱从仪器输出到可用于定量或定性判读,中间必须经过一条预处理链。这条链不是“随便调几个参数”,而是由四个功能明确、顺序敏感的环节组成:基线校正消除荧光背景与暗电流漂移,平滑去噪压制随机噪声,归一化消除光强与采集条件差异,峰位校准修正波数/波长轴的偏移。四者处理的对象不同,顺序错了会互相破坏——例如先归一化再基线校正,会把基线形状一起缩放,导致校正失真。

预处理链的推荐顺序:峰位校准 → 基线校正 → 平滑去噪 → 归一化。峰位校准放在最前,是因为后续所有算法都依赖横轴坐标正确;归一化放在最后,是因为它只改变纵轴尺度,不应影响前面基于绝对强度判断的基线拟合。
光谱预处理链:对象、算法与顺序约束 原始光谱 荧光背景 + 噪声 + 轴偏移 + 强度差异 ① 峰位校准 对象:横轴波数/波长 依据:标准峰位参考 算法:多项式拟合偏移 ② 基线校正 对象:荧光/暗电流背景 算法:多项式/airPLS 关键:不削峰、不抬谷 ③ 平滑去噪 对象:随机高频噪声 算法:Savitzky-Golay 关键:窗口≤半峰宽 ④ 归一化 对象:强度尺度 算法:最大/面积 /内标峰 算法选择决策:按数据特征匹配 基线:荧光背景强 → airPLS / 非对称最小二乘 → 迭代重加权,λ=1e5 基线:缓慢漂移 → 低阶多项式(2~3阶) → 选无峰区拟合 去噪:峰形需保真 → SG 卷积,2阶多项式 → 窗口 7~11 点 归一化:定量比较 → 内标峰面积归一 → 或矢量归一化 顺序错误导致的典型失真 先归一化 → 后基线校正 基线形状被同步缩放 校正后峰强比例失真 先平滑 → 后峰位校准 平滑使峰顶变钝、偏移 校准参考点定位不准 基线过强 → 削峰 λ 过大或阶数过高 弱峰被当作基线扣除

基线校正:先判断背景形态,再选算法

基线校正的核心是估计一条“不含样品信号”的背景曲线并从原始谱中减去。工程上先看背景形态:若背景是缓慢单调漂移(如近红外漫反射的散射背景),用低阶多项式拟合即可,阶数取2~3,拟合区间必须选在没有吸收峰的波段;若背景是荧光引起的宽鼓包(如拉曼光谱),多项式会强行穿过峰区,应改用airPLS或非对称最小二乘。airPLS通过迭代重加权,让拟合曲线从下方逼近原始谱,对峰区施加小权重、对基线区施加大权重,从而“绕过”峰而不是“穿过”峰。

实操中,airPLS的关键参数是平滑因子 λ 和迭代次数。λ 越大,拟合基线越平滑、越不容易削峰,但可能欠拟合陡峭背景;λ 过小则基线会跟随噪声和弱峰起伏。以一段 200~3200 cm⁻¹ 的拉曼谱为例,若荧光背景在 1200 cm⁻¹ 附近抬升约 3000 counts,可先设 λ=1×10⁵、迭代 10 次,观察扣除后 1000~1800 cm⁻¹ 区域是否出现负值——出现负值说明基线被抬得过高,应减小 λ 或降低迭代次数。判断基线是否合格的直接标准是:扣除后无峰区应落在零线附近,且峰区不出现负凹陷。

平滑去噪:窗口宽度不能超过半峰宽

平滑去噪最常用的是 Savitzky-Golay(SG)卷积。它用局部多项式拟合代替简单移动平均,能在压噪的同时保留峰高和峰宽。SG 有两个参数:窗口点数 m 和多项式阶数 p。工程经验是 m 取 7~11 点、p 取 2~3 阶,且窗口宽度必须小于最窄峰的半峰宽,否则峰会被展宽、峰高被压低。例如某光谱仪分辨率约 4 cm⁻¹,最窄峰半峰宽约 8 cm⁻¹,若横轴步长为 1 cm⁻¹,则窗口最多取 9 点;取 15 点就会明显削峰。

判断平滑是否过度,可以对比平滑前后峰高比:若主峰峰高下降超过 5%,或半峰宽增大约 10%,说明窗口偏大。另一个实用检查是看二阶导数谱——过度平滑会把原本可分辨的双峰合并成一个宽峰,二阶导数中的极小值数量减少。

归一化:按后续判读目标选参考量

归一化不改变峰位和峰形,只改变纵轴尺度,目的是让不同时间、不同样品、不同仪器采集的谱可以横向比较。常见方式有三类:最大值归一化(除以全谱最大强度,适合只看相对峰高比的场景)、面积归一化(除以全谱积分面积,适合总量守恒的比较)、内标峰归一化(除以某个已知浓度内标峰的面积或峰高,适合定量分析)。

选择依据是后续判读目标。若要做峰强比(如 D 峰与 G 峰比值),用最大值归一化即可;若要做浓度定量,必须用内标峰归一化,因为最大值归一化会随激光功率、聚焦条件波动。实操中,内标峰应选在无重叠、强度适中、不随样品变化的峰位,例如拉曼中常用 520.7 cm⁻¹ 的硅峰或 960 cm⁻¹ 的磷酸根峰。

峰位校准:用标准峰建立偏移模型

峰位校准解决横轴偏移。仪器长期使用后,光栅转角、探测器像元位置可能发生微小变化,导致同一标准峰在不同时间落在不同波数。校准方法是:采集一个已知标准样品(如聚苯乙烯、硅片、氖灯),识别其标准峰位,计算实测峰位与标准峰位的差值,再用多项式拟合“偏移量—波数”关系,最后把该关系应用到待测谱的横轴上。

以聚苯乙烯为例,其标准峰位包括 1001.4、1601.4、2851.5、3054.3 cm⁻¹ 等。若实测得到 1002.1、1602.0、2852.3、3055.0 cm⁻¹,则偏移量分别为 +0.7、+0.6、+0.8、+0.7 cm⁻¹,近似常数偏移,用一阶多项式即可修正;若偏移量随波数增大而增大,则需二阶多项式。校准后应重新检查标准峰位残差,残差应小于仪器分辨率的一半,例如分辨率 4 cm⁻¹ 时残差应小于 2 cm⁻¹。

实操检查清单:① 峰位校准残差是否小于半分辨率;② 基线扣除后无峰区是否在零线附近且无负值;③ 平滑前后主峰峰高下降是否小于 5%;④ 归一化参考量是否与后续判读目标一致;⑤ 整条预处理链是否按“峰位校准→基线校正→平滑去噪→归一化”顺序执行。
常见误区:把平滑当作“万能去噪”,对已经过强基线校正的谱再做平滑,会把基线残留的起伏也一并平滑,形成虚假宽峰;或者对同一批谱使用不同的归一化方式,导致批间不可比。预处理参数一旦确定,应在同一批次内保持一致,并记录在实验日志中。

预处理链的每一步都会改变数据,因此每一步都应保留中间结果,便于回溯。工程上建议把原始谱、基线、扣除后谱、平滑后谱、归一化后谱分别存为独立列,并在报告中注明所用算法、参数和软件版本。这样当后续判读出现异常时,可以快速定位是哪一个环节引入了偏差,而不是在一条已经“面目全非”的曲线上反复猜测。