4、光谱数据预处理概述：预处理的目的、常见步骤（去噪、基线校正、归一化）及流程
在原始光谱采集过程中，仪器状态、环境波动、样品物理形态以及杂散光等因素都会引入与化学信息无关的噪声和基线漂移。若直接对原始光谱进行建模或特征提取，这些干扰会掩盖有效信号，导致模型精度下降甚至失效。光谱数据预处理正是为了消除这些非目标因素影响、突出化学本质信息而设计的系统性操作。本章将围绕预处理的目的、核心步骤（去噪、基线校正、归一化）以及标准处理流程展开，帮助读者建立从“原始谱图”到“可用特征”的工程化思维。
4.1 预处理的核心目的：为什么不能跳过这一步
光谱预处理的本质是信号净化与尺度统一。从仪器采集到的原始光谱中，真正有用的化学信息往往与多种干扰叠加在一起。这些干扰主要分为三类：一是高频随机噪声，来源于探测器热噪声、电子线路波动；二是基线漂移，由光源强度变化、温度漂移或样品背景吸收引起；三是光程与散射效应，尤其在固体或浑浊液体样品中，颗粒大小、堆积密度会显著改变光谱的强度。
如果不进行预处理，后续的特征提取算法（如PCA、PLS）会将噪声和漂移当作有效方差进行建模，导致模型过拟合或鲁棒性下降。预处理的目的可以归纳为以下四点：
- 提高信噪比：通过平滑或滤波去除高频噪声，使弱特征峰更清晰。
- 恢复真实谱形：校正基线漂移，使光谱回到零基线附近，便于峰高、峰面积的定量比较。
- 消除无关变异：归一化处理可消除因样品厚度、浓度或散射引起的整体强度差异。
- 增强模型稳定性：预处理后的数据分布更集中，有利于建立泛化能力更强的校正模型。
4.2 去噪：从平滑到小波变换
去噪是预处理的第一步，主要针对高频随机噪声。最常用的方法是Savitzky-Golay（S-G）平滑，其核心思想是在滑动窗口内用多项式最小二乘拟合替代简单的移动平均，从而在去噪的同时保留峰形和宽度。S-G平滑有两个关键参数：窗口宽度（通常为5~25个数据点）和多项式阶数（通常为2~3阶）。窗口过宽会过度平滑导致峰高降低，窗口过窄则去噪效果不明显。
对于噪声频率与信号频率重叠较多的情况，小波变换去噪更具优势。小波变换将光谱分解为不同尺度的近似系数和细节系数，通过阈值处理去除噪声主导的细节分量，再重构光谱。该方法适合处理非平稳噪声或含有尖锐峰的光谱。
| 方法 | 原理 | 优点 | 缺点 |
|---|---|---|---|
| S-G平滑 | 局部多项式拟合 | 计算快、保峰形 | 窗口参数需调试 |
| 小波去噪 | 多尺度分解+阈值 | 适应非平稳噪声 | 小波基与层数选择复杂 |
| FFT滤波 | 频域低通滤波 | 简单直观 | 可能产生振铃效应 |
在实际操作中，建议先观察原始光谱的噪声水平，若噪声幅度小于信号峰高的1%，可仅用S-G平滑；若噪声明显且峰形尖锐，则优先考虑小波去噪。
4.3 基线校正：消除漂移与背景干扰
基线漂移表现为光谱整体或局部缓慢起伏，常见于拉曼光谱的荧光背景、近红外光谱的样品散射背景以及红外光谱的CO₂吸收干扰。基线校正的目标是估计并扣除这些非化学信息成分，使光谱的峰谷回到零基线。
常用的基线校正方法包括：
- 多项式拟合：通过迭代拟合一个低阶多项式（通常2~5阶）作为基线，然后从原始光谱中扣除。该方法适合基线变化平缓的情况，但需要人工选择拟合区间。
- airPLS（自适应迭代惩罚最小二乘）：利用平滑性和保真性约束自动估计基线，无需人工选点，是目前应用最广泛的自动基线校正方法。其核心参数lambda控制基线的平滑程度，lambda越大基线越平滑。
- 导数法：一阶导数可消除常数基线偏移，二阶导数可消除线性漂移，但会放大噪声，通常需配合平滑使用。
4.4 归一化：统一尺度与消除散射
归一化处理解决的是光谱强度不一致的问题。在近红外光谱中，固体样品的颗粒大小、压实密度、光程变化都会导致光谱整体强度成比例变化，而这种变化与化学成分无关。归一化的目标就是消除这些与浓度无关的乘性效应。
常用的归一化方法有：
- 最大最小归一化：将光谱强度线性映射到[0,1]区间，适合峰形比较，但会放大噪声。
- 标准正态变量变换（SNV）：对每条光谱逐点减去均值并除以标准差，可有效消除固体颗粒散射和光程变化影响，是近红外光谱最常用的归一化方法。
- 多元散射校正（MSC）：以所有光谱的平均光谱为参考，对每条光谱进行线性回归，用回归系数校正散射效应。MSC与SNV效果类似，但MSC需要全体光谱参与计算。
选择归一化方法时，需考虑样品类型：液体样品通常只需简单归一化或无需归一化；固体粉末或颗粒样品建议使用SNV或MSC；若光谱本身已通过光程校正（如使用内置参比），则归一化步骤可省略。
4.5 预处理流程设计与实战案例
一个完整的预处理流程并非固定不变，而是需要根据样品类型、仪器条件和建模目标进行组合设计。典型的流程为：原始光谱 → 去噪 → 基线校正 → 归一化 → 特征提取。但实际中，去噪和基线校正的顺序可以互换，归一化有时放在基线校正之前。
下面通过一个近红外光谱分析玉米水分含量的案例来说明流程设计。
初始现象与目标：直接使用原始光谱建立PLS模型，交叉验证决定系数R²仅为0.82，均方根误差RMSE为0.45%。目标是通过预处理将R²提升至0.95以上，RMSE降至0.2%以内。
分析判断过程：观察原始光谱发现，不同样品的光谱在1800~2100 nm区域存在明显的垂直平移，这是典型的基线漂移；同时整体强度差异较大，说明存在散射效应。因此决定采用“S-G平滑（窗口11点，2阶）→ airPLS基线校正（lambda=10⁵）→ SNV归一化”的组合流程。
实际操作步骤：
- 对80条原始光谱分别进行S-G平滑，去除高频噪声。
- 使用airPLS算法估计每条光谱的基线，并扣除，得到校正后光谱。
- 对校正后的光谱进行SNV变换，消除颗粒散射影响。
- 将预处理后的光谱按7:3划分为训练集和验证集，建立PLS模型。
结果对比：预处理后，训练集R²提升至0.97，RMSE降至0.18%；验证集R²为0.95，RMSE为0.21%。相比原始光谱模型，预测精度显著提升。同时，预处理后光谱的主成分得分图显示样品聚类更紧凑，说明非化学变异被有效消除。
风险与代价：airPLS的lambda参数需要根据基线漂移程度调整，lambda过小会导致基线拟合过度，扣除后出现负峰；lambda过大则校正不彻底。SNV对光谱噪声敏感，若去噪不充分，SNV会放大噪声。因此，流程中的每一步都需要通过交叉验证评估效果。
复盘经验：预处理流程的设计应基于对光谱特征的观察，而非盲目套用。建议先绘制原始光谱叠加图，观察漂移类型和噪声水平，再选择对应方法。同时，每次预处理后都应检查光谱形态，确保没有引入伪影。
4.6 常见误区与总结复盘
在光谱预处理实践中，初学者常犯以下错误：
- 过度平滑：窗口宽度过大导致峰高降低、峰宽增加，定量分析时线性关系变差。
- 基线校正不当：使用固定阶数多项式拟合所有样品，忽略了不同样品基线形状的差异。
- 归一化方法错选：对液体样品使用SNV，反而引入了不必要的散射校正误差。
- 预处理顺序颠倒：先归一化后去噪，会导致噪声被放大。
- 忽略验证：只关注训练集效果，未在独立验证集上评估预处理流程的泛化能力。
总结而言，光谱数据预处理是连接原始信号与有效特征的桥梁。一个合理的预处理流程应具备三个特征：针对性（针对具体干扰源选择方法）、适度性（避免过度处理）、可验证性（通过模型性能或光谱形态评估效果）。建议在实际项目中，将预处理流程视为模型的一部分，通过交叉验证统一优化预处理参数和模型参数，以获得最佳的分析性能。