📚 课程目录第2章光谱基础概念

光谱基础概念：电磁波谱、光谱类型与数据表示方式

光谱分析是连接物理世界与数据世界的桥梁。无论是遥感卫星探测地表矿物，还是近红外光谱仪快速检测粮食水分，其本质都是通过测量物质与电磁辐射的相互作用，获取具有物理意义的“指纹”信息。在进入特征提取与建模之前，必须首先建立三个核心认知：电磁波谱如何划分能量区间、吸收/发射/反射三种光谱类型各自对应何种物理过程、以及光谱数据在计算机中究竟以何种结构存在。这三者构成了后续所有预处理与算法设计的物理与逻辑基础。

电磁波谱：从能量尺度理解光谱区间

核心原理

电磁波谱是电磁辐射按波长（或频率、能量）顺序排列的连续谱。波长λ、频率ν与光子能量E满足关系：E = hν = hc/λ，其中h为普朗克常数，c为光速。这意味着波长越短，光子能量越高，与物质相互作用的方式也越不同。例如，X射线（0.01~10 nm）能量足以激发内层电子，用于元素分析；而近红外光（780~2500 nm）主要激发分子振动能级的倍频与合频，适合有机物快速检测。

在光谱分析中，我们通常关注紫外-可见（UV-Vis，200~780 nm）、近红外（NIR，780~2500 nm）、中红外（MIR，2.5~25 μm）以及拉曼位移区间。不同区间对应不同的电子跃迁或振动模式，这决定了我们选择何种光源、探测器与光路设计。

判断方法

能量匹配原则：根据待测物质的能级跃迁类型选择光谱区间。电子跃迁→UV-Vis；分子振动基频→MIR；倍频与合频→NIR；晶格振动→远红外或拉曼。
穿透深度考量：波长越长，对样品的穿透深度通常越大。NIR可穿透数毫米至厘米级固体，而UV-Vis仅适用于薄层或溶液。
环境干扰评估：水蒸气在NIR有强吸收，CO₂在中红外有干扰，需根据测量环境选择合适窗口。

案例拆解：近红外水分检测的波段选择

某粮食仓储企业需要在线检测小麦含水量，目标精度±0.5%。工程师首先查阅水的NIR吸收峰：水在1450 nm和1940 nm附近有强吸收带。但小麦中蛋白质、淀粉在2050~2300 nm也有特征吸收。若选择1940 nm作为定量波长，需同时采集参考波长（如1800 nm，水吸收较弱）进行比值计算，以消除颗粒度、装填密度带来的散射干扰。最终选择1200~2400 nm范围的漫反射光谱，通过偏最小二乘回归建立模型。

经验提醒：不要只看单一波长的吸收强度，应优先选择信噪比高、干扰少的谱区组合。对于固体颗粒样品，散射效应往往比吸收更显著，需考虑使用多元散射校正（MSC）或标准正态变量变换（SNV）预处理。

光谱类型：吸收、发射与反射的物理本质

核心原理

光谱类型取决于测量过程中物质与光的相互作用方式。吸收光谱测量的是样品对入射光的衰减，遵循朗伯-比尔定律：A = εbc，其中A为吸光度，ε为摩尔吸光系数，b为光程，c为浓度。发射光谱则测量样品受激发后自发辐射的光子，其强度与激发功率、样品浓度相关，但不受光程限制。反射光谱测量的是样品表面反射的光，包含镜面反射（遵循反射定律）与漫反射（由样品内部散射后重新出射），漫反射光谱更常用于固体粉末分析。

光谱类型	物理过程	典型特征	常用物理量	典型应用
吸收光谱	入射光被样品选择性吸收	谷/负峰	吸光度A、透射率T	溶液定量、气体检测
发射光谱	样品受激后辐射光子	峰/线状谱	辐射强度I（计数）	ICP-OES元素分析、荧光
反射光谱	光在样品表面或内部散射后出射	基线漂移+特征峰	反射率R、K-M函数	遥感、粉末药品鉴别

判断方法

明确测量目标：若需定量溶液中某组分浓度，优先选择透射吸收模式；若样品为不透明固体，则选择漫反射或衰减全反射（ATR）。
考虑样品状态：气体常用长光程吸收池；液体可用透射或ATR；粉末固体用漫反射；薄膜用反射-吸收模式。
评估灵敏度需求：发射光谱通常比吸收光谱灵敏度高2~3个数量级，适合痕量分析，但基体干扰更复杂。

案例拆解：塑料分选中的光谱类型选择

某回收工厂需要快速区分PET、HDPE、PVC三种塑料碎片。初始方案采用近红外漫反射光谱，但发现黑色塑料因碳黑吸收几乎无有效信号。改用中红外ATR模式后，通过识别PVC在1420 cm⁻¹（C-H弯曲）和610 cm⁻¹（C-Cl伸缩）的特征峰，成功实现分类。但ATR需要与样品紧密接触，传送带速度受限。最终方案采用短波红外（SWIR，1000~1700 nm）结合漫反射，利用聚合物在1200 nm、1400 nm、1650 nm处的组合频吸收，配合支持向量机分类器，处理速度提升至每秒5个样品。

风险提示：反射光谱的基线漂移问题比透射严重得多，尤其是颗粒大小、压实密度变化会导致散射系数改变。在建模前必须进行基线校正或使用导数光谱消除基线偏移。

光谱数据表示方式：从模拟信号到数据矩阵

核心原理

光谱仪采集的原始信号是光强度随波长（或波数、拉曼位移）变化的连续函数。经过模数转换后，在计算机中通常以三种形式存储：连续曲线（波长-强度对序列）、数据矩阵（多行样本×多列波长变量）、光谱文件（包含元数据与数据块的复合格式）。数据矩阵是化学计量学分析的基础，每一行代表一个样本，每一列代表一个波长通道的响应值。

常见的光谱数据格式包括：CSV/Excel（通用表格）、JCAMP-DX（光谱交换标准）、SPA（Bruker格式）、OPUS（Bruker专用）、SPC（Thermo Galactic格式）。实际项目中，数据导入后第一步通常是检查波长轴是否等间隔、是否存在缺失值或负值。

操作流程：从原始光谱到可用数据矩阵

数据导入：使用Python的pandas或numpy读取CSV/SPC文件，保留波长列与强度列。
波长轴校准：若波长间隔不均匀，使用插值（如scipy.interpolate）重采样至等间隔。
样本对齐：确保所有样本的波长范围一致，裁剪边缘噪声区域。
数据矩阵构建：将每个样本的强度向量堆叠为二维数组，形状为（n_samples, n_wavelengths）。
元数据记录：保存采集时间、积分时间、温度、湿度等参数，便于后续异常样本追溯。

import numpy as np
import pandas as pd

# 读取多个光谱文件并构建数据矩阵
file_list = ['sample1.csv', 'sample2.csv', 'sample3.csv']
spectra = []
for f in file_list:
    df = pd.read_csv(f)
    wavelengths = df['Wavelength_nm'].values
    intensity = df['Intensity'].values
    spectra.append(intensity)

X = np.array(spectra)  # 形状 (3, n_wavelengths)
print(f"数据矩阵形状: {X.shape}")

案例拆解：拉曼光谱数据预处理中的表示问题

某制药实验室使用拉曼光谱鉴别原料药晶型。原始光谱由Andor CCD采集，输出为SPC格式。导入后发现两个问题：一是波长轴为波数（cm⁻¹）且间隔不均匀（800~1800 cm⁻¹区间步长1.2 cm⁻¹，1800~3200 cm⁻¹区间步长2.0 cm⁻¹）；二是存在宇宙射线峰（单点极高强度）。处理流程：首先使用样条插值统一至1 cm⁻¹间隔，然后采用中值滤波去除宇宙射线，最后进行基线校正（airPLS算法）。处理后的数据矩阵直接输入主成分分析（PCA），成功区分了三种晶型。

  关键要点：光谱数据的表示方式直接影响后续算法选择。例如，若数据矩阵存在缺失值，需先进行插补；若不同样本的波长轴不一致，则无法直接进行矩阵运算。建议在项目初期就统一数据格式，并编写标准化的数据加载函数。

常见误区与总结复盘

误区一：忽略波长轴单位。近红外常用纳米（nm），中红外常用波数（cm⁻¹），拉曼常用拉曼位移（cm⁻¹）。三者不可混用，转换公式为：波数(cm⁻¹) = 10⁷ / 波长(nm)。
误区二：直接使用原始强度值。不同批次测量的光源强度漂移、探测器响应差异会导致基线变化，应进行标准化或归一化处理。
误区三：将反射率与吸光度混用。漫反射光谱常用Kubelka-Munk函数转换：f(R) = (1-R)²/(2R)，以线性化浓度关系。
误区四：忽视数据维度。高光谱数据（如遥感图像）是三维结构（行×列×波长），需先重塑为二维矩阵才能应用常规化学计量学方法。

总结而言，光谱基础概念是连接物理测量与数据科学的桥梁。理解电磁波谱的能量分布，有助于选择正确的测量区间；区分吸收、发射、反射三种模式，决定了实验设计与仪器配置；掌握数据表示方式，则是实现自动化分析与建模的前提。在实际项目中，建议先绘制一张类似本章开头的“光谱三要素关系图”，明确测量目标、光谱类型与数据格式之间的逻辑链路，再进入后续的预处理与特征提取环节。