光谱数据基础：数据格式、波长与反射率/吸光度、光谱预处理
光谱建模的第一步，往往不是算法选择，而是对原始光谱数据的正确理解与规范处理。许多初学者拿到CSV或ENVI格式的文件后，直接跳入特征筛选和机器学习建模，结果模型精度低、泛化能力差，甚至出现严重的过拟合。究其原因，大多是对光谱数据的基本属性——数据格式、波长与反射率/吸光度的物理意义，以及预处理的必要性缺乏系统认知。本章将围绕这三个核心模块展开，帮助您建立光谱数据处理的“底层操作系统”。
2.1 光谱数据格式：CSV与ENVI的底层逻辑
光谱数据在磁盘上的存储格式，直接决定了您如何读取、解析和索引数据。最常见的两种格式是CSV（逗号分隔文本）和ENVI（遥感/高光谱标准格式）。理解它们的差异，是避免“数据读错、波长错位、建模失败”的第一步。
2.1.1 CSV格式：简单但需谨慎
CSV格式以纯文本形式存储光谱数据，每一行通常代表一个样本，每一列代表一个特征维度。对于光谱数据，典型的CSV结构如下：
样本ID, 类别, 波长400nm, 波长401nm, ..., 波长1000nm
S001, 0, 0.234, 0.235, ..., 0.512
S002, 1, 0.198, 0.201, ..., 0.478
...这种格式的优点是通用性强，Excel、Python pandas、R均可直接读取。但存在三个隐患：波长信息缺失（列名可能只是“V1”、“V2”而非实际波长）、数据类型混乱（类别列与光谱列混在一起）、内存占用高（文本格式比二进制大3-5倍）。
2.1.2 ENVI格式：高光谱标准
ENVI格式是遥感与高光谱领域的工业标准，由头文件（.hdr）和数据文件（.dat或.img）组成。头文件以文本形式存储关键元数据，包括：
ENVI
samples = 2048
lines = 1024
bands = 200
header offset = 0
file type = ENVI Standard
data type = 4 (float32)
interleave = bil
wavelength units = Nanometers
wavelength = {400.0, 402.0, 404.0, ...}其中interleave字段定义了数据存储顺序：BIL（波段按行交错）、BIP（波段按像素交错）、BSQ（波段按顺序存储）。读取ENVI数据时，必须同时解析头文件中的波长数组，否则无法将光谱曲线与物理波长对应。
| 对比维度 | CSV格式 | ENVI格式 |
|---|---|---|
| 存储方式 | 纯文本，可读性强 | 二进制+头文件，紧凑高效 |
| 波长信息 | 通常缺失或需额外映射 | 头文件中显式存储 |
| 读取速度 | 较慢（文本解析） | 快（二进制直接映射） |
| 适用场景 | 小样本、教学演示、通用工具 | 高光谱影像、大规模数据 |
| 常见坑点 | 列名混乱、分隔符不一致 | interleave类型不匹配、字节序错误 |
pandas.read_csv()读取CSV，但务必检查列名是否包含波长信息；对于ENVI格式，使用spectral.io.envi库或rasterio读取，确保波长数组与数据体对齐。
2.2 波长与反射率/吸光度：物理量的数学桥梁
光谱数据的每一列都对应一个特定的波长点，而该点的数值则代表样本在该波长下的光学响应。理解反射率与吸光度之间的转换关系，是后续特征筛选和定量建模的数学基础。
2.2.1 反射率与吸光度的定义
反射率（Reflectance, R）定义为样本反射的光通量与入射光通量之比，取值范围为[0, 1]（或0-100%）。反射率直接反映了样本表面对光的反射能力，受物质成分、表面粗糙度、含水量等因素影响。
吸光度（Absorbance, A）基于比尔-朗伯定律，定义为：
A = -log10(R)吸光度与物质浓度呈线性关系（在低浓度范围内），因此更适合定量分析。当反射率接近0时，吸光度趋于无穷大，实际应用中通常将反射率下限截断在0.001左右。
2.2.2 波长维度的物理意义
不同波段的光谱响应对应不同的分子振动模式：
- 可见光区（400-780 nm）：主要反映电子跃迁，与颜色、色素含量相关。
- 近红外区（780-2500 nm）：主要反映C-H、O-H、N-H等化学键的倍频和合频振动，是化学计量学建模的“黄金区域”。
- 中红外区（2500-25000 nm）：反映分子基频振动，指纹特征强，但信噪比通常较低。
2.3 光谱预处理：平滑、基线校正与归一化
原始光谱数据中混杂着随机噪声、基线漂移和散射效应。预处理的目标是在保留化学信息的前提下，最大限度地消除非目标干扰。预处理方法的选择直接影响后续特征筛选和建模的稳定性。
2.3.1 平滑（Smoothing）
平滑用于去除高频随机噪声。最常用的方法是Savitzky-Golay（SG）卷积平滑，其核心思想是在滑动窗口内用多项式最小二乘拟合替代原始值。关键参数包括窗口宽度（通常为5-21个点）和多项式阶数（通常为2-3阶）。
from scipy.signal import savgol_filter
smoothed = savgol_filter(spectrum, window_length=11, polyorder=2)窗口过小则去噪效果差，窗口过大会平滑掉真实吸收峰。建议通过观察平滑前后光谱曲线的变化来调整参数。
2.3.2 基线校正（Baseline Correction）
基线漂移通常由仪器状态、环境温度或样本散射引起，表现为光谱曲线的整体抬升或倾斜。常用方法包括：
- 一阶导数（1st Derivative）：消除常数基线偏移，同时增强谱峰分辨率。
- 二阶导数（2nd Derivative）：消除线性基线漂移，但会放大噪声。
- 多元散射校正（MSC）：通过回归拟合消除散射影响，适用于固体颗粒样本。
- 标准正态变量变换（SNV）：对每条光谱独立进行标准化，消除颗粒散射和光程变化。
2.3.3 归一化（Normalization）
归一化的目的是消除样本间因光程、厚度或浓度差异带来的量纲影响。常见方法包括：
| 方法 | 公式 | 适用场景 |
|---|---|---|
| 最大-最小归一化 | (x - min) / (max - min) | 光谱范围差异大时 |
| 均值中心化 | (x - mean) | PCA/PLS等多元分析前 |
| 向量归一化 | x / ||x||₂ | 消除光程差异 |
| SNV | (x - mean) / std | 固体颗粒散射校正 |
2.4 预处理流程实战：从原始数据到建模就绪
下面通过一个完整的操作流程，展示如何将原始光谱数据转化为适合机器学习建模的输入矩阵。
2.4.1 操作流程清单
- 数据加载：读取CSV或ENVI文件，提取光谱矩阵X（n_samples × n_wavelengths）和标签y。
- 波长对齐：确认波长数组与数据列一一对应，剔除无效波段（如边缘噪声区）。
- 异常样本检测：通过主成分分析（PCA）得分图或箱线图识别离群样本。
- 预处理流水线：按顺序执行基线校正 → 平滑 → 归一化。
- 数据划分：按7:3或8:2划分训练集与测试集，注意分层抽样保持类别平衡。
- 可视化验证：绘制预处理前后的平均光谱曲线，确认特征峰保留且基线平坦。
2.4.2 案例拆解：玉米近红外光谱的预处理
背景与约束：某玉米品种水分含量预测项目，使用近红外光谱仪采集80个样本，波长范围1100-2500 nm，间隔2 nm，共700个波段。原始光谱存在明显的基线漂移和颗粒散射效应。
初始现象：直接使用原始光谱建立偏最小二乘（PLS）模型，交叉验证R²仅为0.55，RMSECV为1.8%。光谱曲线显示不同样本间基线差异显著。
分析判断：基线漂移主要源于样本颗粒度和装样密度的差异，属于物理性干扰而非化学信息。因此选择SNV消除散射效应，再使用SG平滑（窗口15点，2阶多项式）降低随机噪声。
实际操作：
from sklearn.preprocessing import StandardScaler
from scipy.signal import savgol_filter
# 1. SNV变换
snv_data = (X - X.mean(axis=1, keepdims=True)) / X.std(axis=1, keepdims=True)
# 2. SG平滑
smoothed_data = savgol_filter(snv_data, window_length=15, polyorder=2, axis=1)
# 3. 均值中心化（PLS建模前）
scaler = StandardScaler(with_mean=True, with_std=False)
X_processed = scaler.fit_transform(smoothed_data)结果对比：预处理后PLS模型R²提升至0.87，RMSECV降至0.9%。同时，特征筛选（如CARS算法）在预处理后的数据上选出的特征波长更稳定，重复实验的筛选结果一致性从68%提升至92%。
风险与代价：SNV对光谱形状变化敏感，若样本间存在真实浓度差异，SNV可能削弱定量信息。本案例中水分含量范围较窄（10-20%），SNV的影响可接受。若浓度范围宽，建议改用MSC或仅做基线校正。
复盘经验：预处理方法的选择应基于对干扰来源的物理判断，而非盲目套用。每次预处理后都应检查光谱的物理合理性，例如吸光度不应出现负值，反射率不应超过1。