3、光谱仪与数据采集：常见光谱仪原理、采集参数（分辨率、信噪比）、原始数据格式
光谱仪是光谱分析流程的“入口”，其硬件原理、采集参数设置以及原始数据格式，直接决定了后续预处理、特征提取和建模的上限。许多初学者在拿到光谱数据后，急于进行平滑、基线校正或建模，却忽略了数据源头是否可靠。本章将系统梳理常见光谱仪的工作原理、核心采集参数（分辨率与信噪比）的权衡方法，以及原始数据格式的解析要点，帮助您建立从“硬件响应”到“数字矩阵”的完整认知。
上图展示了光谱仪从光源到数据输出的完整链路。在实际工作中，我们需要理解每一个环节对最终数据质量的影响。例如，光源的稳定性决定了基线漂移的程度，分光系统的光栅刻线密度决定了分辨率上限，而探测器的类型（硅基CCD或InGaAs）则决定了可响应的波长范围。下面我们逐一深入。
3.1 常见光谱仪的工作原理与选型
3.1.1 核心原理：色散与干涉
光谱仪的本质是将复色光按照波长（或波数）进行分离，并测量各波长成分的强度。根据分光方式的不同，主要分为两大类：色散型和干涉型。
- 色散型光谱仪：利用光栅或棱镜的色散特性，将不同波长的光在空间上分开。典型代表是Czerny-Turner光栅光谱仪。其核心元件是衍射光栅，光栅方程 d(sinα ± sinβ) = mλ 决定了衍射角与波长的关系。光栅刻线密度越高（如1200 lines/mm），色散能力越强，分辨率越高，但同时光通量会下降。
- 干涉型光谱仪（FTIR）：基于迈克尔逊干涉仪原理，通过动镜的移动产生干涉图，再经过傅里叶变换得到光谱。FTIR具有高通量（Jacquinot优势）、高波数精度（Connes优势）和多通道（Fellgett优势）的特点，特别适合红外波段。
对于近红外（NIR，780-2526 nm）和紫外-可见（UV-Vis，200-780 nm）波段，色散型光谱仪（尤其是阵列探测器型）占据主导；而中红外（MIR，4000-400 cm⁻¹）则几乎被FTIR垄断。
3.1.2 判断方法：根据应用场景选择光谱仪
选择光谱仪时，需要从以下四个维度进行判断：
- 波长范围：样品中的化学键振动基频（MIR）或倍频/合频（NIR）决定了首选波段。例如，检测水分常用NIR的1450 nm和1940 nm附近。
- 分辨率需求：气体分析（如CO、NO）需要0.5 cm⁻¹以下的高分辨率，而固体或液体样品的常规分析，4-8 cm⁻¹即可满足。
- 样品形态：透明液体用透射模式，粉末或浑浊液体用漫反射或衰减全反射（ATR）模式。
- 速度与成本：阵列探测器（如CCD）可一次获取全谱，适合快速在线检测；扫描型光谱仪成本低但速度慢。
3.2 采集参数：分辨率与信噪比的权衡
3.2.1 光谱分辨率（FWHM）
分辨率定义为光谱仪能够分辨的两个相邻谱线的最小波长间隔，通常用半高全宽（FWHM）表示。它由狭缝宽度、光栅色散率和探测器像素尺寸共同决定。对于光栅光谱仪，分辨率 R = λ/Δλ = mN（m为衍射级次，N为光栅总刻线数）。
在实际操作中，分辨率并非越高越好。过高的分辨率会导致：
- 光通量降低，噪声相对增大，信噪比下降。
- 数据量增大，存储和处理时间增加。
- 对于宽峰（如液态水的NIR峰），高分辨率并不能提供额外化学信息。
3.2.2 信噪比（SNR）
信噪比是信号强度与随机噪声的比值。噪声来源包括探测器暗噪声、散粒噪声、热噪声和读出噪声。提高信噪比的方法有：
- 增加积分时间：信号线性增加，但暗电流噪声也增加（通常为√t关系），因此SNR提升与√t成正比。
- 多次扫描平均：SNR提升与√N成正比（N为扫描次数）。这是最有效且不引入系统误差的方法。
- 冷却探测器：降低暗电流，对InGaAs探测器尤其有效。
- 优化光路：增加光源强度或提高光通量。
| 参数 | 对分辨率的影响 | 对信噪比的影响 | 典型调整策略 |
|---|---|---|---|
| 狭缝宽度 | 窄缝→高分辨率 | 窄缝→低光通量→低SNR | 平衡：若峰较宽，可适当放宽狭缝 |
| 积分时间 | 无直接影响 | 延长→SNR↑（但受暗电流限制） | 先测暗电流，设定不超过其线性范围 |
| 扫描次数 | 无直接影响 | 增加→SNR↑（√N关系） | 通常设置16-64次平均 |
| 光栅刻线密度 | 高刻线→高分辨率 | 高刻线→光通量↓→SNR↓ | 根据目标峰宽选择合适刻线 |
3.2.3 操作流程：设置采集参数的标准步骤
1. 预热光源（至少30分钟），确保光强稳定。
2. 采集暗光谱（遮挡光路），记录暗电流。
3. 采集参考光谱（标准白板或空白溶剂）。
4. 设置积分时间：使最大信号强度达到探测器满量程的80%-90%。
5. 设置扫描次数：从16次开始，观察SNR是否满足要求。
6. 保存原始数据（含元数据），不要只保存处理后的光谱。3.3 原始数据格式与解析
3.3.1 常见格式与结构
不同厂家的光谱仪输出格式各异，但核心内容一致：波长（或波数）数组 + 强度数组 + 元数据。常见格式包括：
- .spa（Thermo Nicolet）：二进制格式，包含干涉图、光谱和仪器参数。
- .spc（Galactic Industries）：通用二进制格式，支持多种光谱类型。
- .jdx（JCAMP-DX）：文本格式，国际通用，易于解析。
- .txt / .csv：纯文本，通常为两列（波长、强度）或三列（波长、透过率、吸光度）。
3.3.2 数据矩阵与元数据
在Python中，我们通常使用pandas或numpy读取原始数据。关键步骤是：
import pandas as pd
# 读取CSV格式，跳过文件头
data = pd.read_csv('sample_001.txt', sep='\t', skiprows=2, header=None)
wavelength = data[0].values # 第一列为波长
intensity = data[1].values # 第二列为强度
# 注意：有些文件第三列是吸光度，需根据元数据判断元数据（如分辨率、积分时间、增益）通常存储在文件头部或单独的参数文件中。在构建数据集时，务必保留这些信息，因为它们会影响预处理策略。例如，不同分辨率的光谱不能直接合并建模，需要先插值到统一波长轴。
3.4 案例拆解：从原始光谱到可用数据集的完整流程
背景与约束：某食品企业需要检测牛奶中的蛋白质含量，使用一台便携式NIR光谱仪（900-1700 nm，InGaAs探测器，分辨率10 nm）。初始采集时发现光谱噪声较大，且不同批次样品的基线不一致。
初始现象与目标：直接使用原始光谱进行偏最小二乘（PLS）建模，预测误差（RMSEP）高达0.8 g/100mL，远高于行业要求的0.3 g/100mL。目标是通过优化采集参数和数据处理，将RMSEP降至0.3以下。
关键输入数据与参数：
- 积分时间：5 ms（信号强度仅为满量程的40%）
- 扫描次数：8次
- 环境温度：22-28℃波动
分析判断过程：
- 信号强度偏低，导致散粒噪声占比增大，SNR不足。
- 扫描次数少，随机噪声未被有效平均。
- 温度波动引起基线漂移，需引入温度校正或增加参考光谱采集频率。
实际操作步骤：
1. 将积分时间从5 ms延长至12 ms，使信号强度达到满量程的85%。
2. 将扫描次数从8次增加至32次（SNR提升2倍）。
3. 每10个样品重新采集一次参考光谱，并记录环境温度。
4. 在预处理阶段，使用标准正态变量变换（SNV）消除基线漂移。
5. 重新建模，使用交叉验证评估模型。结果对比：优化后，光谱SNR从约200:1提升至800:1，基线漂移降低60%。PLS模型的RMSEP从0.8降至0.25 g/100mL，满足要求。
风险与代价：积分时间延长导致单次采集时间从0.5 s增至2 s，在线检测速度下降。但通过优化采样间隔（每2 s采样一次），仍能满足产线节拍。
复盘经验：
- 采集参数必须根据实际样品信号强度动态调整，不能使用固定值。
- 环境因素（温度、湿度）对NIR影响显著，必须记录并纳入模型或预处理。
- 原始数据格式中务必保留积分时间和扫描次数，便于后期排查问题。