4、高光谱数据格式与质量评估：常见数据格式（ENVI、GeoTIFF等）、辐射定标、大气校正与噪声评估
高光谱遥感数据的应用价值，首先取决于数据本身的质量与格式的规范性。与多光谱数据相比，高光谱数据具有波段数多（通常上百个）、光谱分辨率高（纳米级）、数据量庞大（单景可达GB级）的特点，这给数据存储、交换、预处理和质量控制带来了独特挑战。本章将系统梳理高光谱数据的常见存储格式及其适用场景，深入讲解辐射定标、大气校正两大核心预处理环节的原理与操作流程，并介绍噪声评估的量化方法。理解这些内容，是从“拿到数据”走向“用好数据”的关键一步，也是后续开展定量反演、目标识别与变化检测等高级应用的基础保障。
上图展示了高光谱数据从原始存储到质量评估的完整链路。在实际工程中，数据格式决定了读取效率与兼容性，辐射定标和大气校正决定了定量反演的精度上限，而噪声评估则是判断数据是否满足应用需求（如矿物填图、植被生化参数反演）的最终标尺。下面逐一展开。
4.1 常见数据格式：结构、特点与选型
核心原理：高光谱数据格式的核心在于如何组织“空间维（行×列）”与“光谱维（波段）”的三维数据立方体。不同的交错方式直接影响I/O效率与波段访问速度。ENVI系列格式（BSQ、BIL、BIP）是遥感领域最经典的标准，而GeoTIFF凭借其地理参考信息与广泛软件兼容性成为交换格式的首选。HDF5则适合海量数据的高效压缩与并行读取。
| 格式类型 | 数据组织方式 | 优点 | 缺点 | 典型应用场景 |
|---|---|---|---|---|
| ENVI BSQ | 按波段顺序存储（Band Sequential） | 单波段读取快，适合逐波段处理 | 跨波段访问需频繁跳转 | 单波段运算、波段选择 |
| ENVI BIL | 按行交错波段（Band Interleaved by Line） | 空间与光谱访问均衡 | 实现复杂度中等 | 逐像元光谱分析 |
| ENVI BIP | 按像元交错波段（Band Interleaved by Pixel） | 光谱维连续，适合光谱匹配 | 单波段读取效率低 | 光谱角制图、端元提取 |
| GeoTIFF | TIFF基础上嵌入地理标签 | 通用性强，支持压缩 | 16bit无符号整型为主，浮点支持有限 | 成果发布、GIS集成 |
| HDF5 | 分层数据格式，支持多维数组 | 支持超大文件、并行I/O、元数据丰富 | 学习曲线陡峭 | 卫星级产品（如GF-5、EnMAP） |
操作流程：在ENVI中打开未知格式数据时，需手动指定行列数、波段数、数据类型（Byte/Integer/Float）及文件头（.hdr）信息。对于GeoTIFF，建议使用GDAL命令行工具快速检查元数据：
gdalinfo -stats hyperspectral.tif
# 输出关键信息：Size (1024, 1024), Band count: 200
# 数据类型：Float32, 像素尺寸：30m案例拆解：某项目需处理一景航空高光谱数据（512波段，1.2GB）。最初使用BIP格式存储，但在进行逐波段归一化处理时，每次读取单波段需遍历整个文件，耗时约45秒/波段。后转为BSQ格式，单波段读取时间降至0.8秒，整体处理效率提升50倍以上。此案例说明，格式选型需结合后续算法逻辑——若以光谱维运算为主选BIP，若以空间维滤波为主选BSQ。
data type、wavelength units（纳米或微米）以及reflectance scale factor（如×10000），避免因单位或缩放因子误读导致后续计算错误。4.2 辐射定标：从DN值到物理量
核心原理：传感器记录的原始DN值（Digital Number）是量化后的电压信号，与入瞳辐亮度呈线性关系：L = Gain × DN + Offset。辐射定标的目的就是确定每个波段的Gain（增益）和Offset（偏置），将DN值转换为具有物理意义的辐亮度（单位：W/m²·sr·μm）。对于星载传感器，定标系数通常由实验室定标、星上定标灯或月球定标获得，并随卫星运行时间发生衰减，需定期更新。
判断方法：定标系数一般存储于元数据（如MTL文件）或专门的定标查找表（LUT）中。以Landsat 8 OLI为例，其辐射定标公式为：
Lλ = ML × Qcal + AL
其中：ML = 0.00002（波段特定），AL = -0.1（波段特定）
Qcal = DN值（16bit）案例拆解：处理国产高光谱卫星（如珠海一号OHS）数据时，发现部分波段DN值出现饱和（DN=65535）。经查，该传感器在高原强光照区域可见光波段易饱和。解决方案：① 检查定标系数是否适用于高辐亮度场景；② 对饱和像元进行掩膜处理，避免参与后续大气校正；③ 在报告中标注饱和区域占比。此案例表明，辐射定标不仅是数学变换，还需结合传感器特性进行异常检测。
4.3 大气校正：消除大气影响，获取地表反射率
核心原理：太阳辐射穿过大气层时，受到气溶胶散射、水汽吸收、臭氧吸收等影响，传感器接收到的信号包含路径辐射、目标反射和邻近效应。大气校正的目标是反演地表真实反射率。主流方法分为三类：① 辐射传输模型法（如MODTRAN、6S），通过输入大气参数模拟辐射传输过程；② 经验线性法，利用地面同步测量的靶标反射率建立回归关系；③ 暗像元法（DOS），假设图像中存在反射率近似为0的暗目标（如清洁水体、浓密植被阴影）。
操作流程（以ENVI FLAASH为例）：
- 输入辐亮度数据（已完成辐射定标），设置传感器类型、飞行高度、成像时间。
- 选择大气模型（中纬度夏季/冬季、热带等），输入气溶胶模型（城市/乡村/海洋）。
- 设置水汽反演选项（利用820nm/940nm波段比值），若数据无此波段则选择“无水汽反演”。
- 执行校正，输出地表反射率（×10000缩放）及水汽柱含量、气溶胶光学厚度（AOD）等副产品。
案例拆解：某矿区高光谱数据（HySpex传感器，400-2500nm）大气校正后，发现短波红外（SWIR，2000-2400nm）区域反射率出现异常负值。分析步骤：① 检查辐射定标后的辐亮度曲线，确认在1900nm水汽强吸收带辐亮度接近0，属正常现象；② 检查FLAASH输入的水汽量参数，默认值为1.0g/cm²，但实际矿区干燥环境水汽仅0.3g/cm²，导致过度补偿；③ 重新设置水汽参数后，SWIR区域反射率恢复至0.1-0.3的合理范围。此案例强调，大气校正参数需结合实测气象数据或再分析资料（如ERA5）进行标定。
4.4 噪声评估：信噪比、坏像元与条带噪声
核心原理：高光谱数据的噪声来源包括传感器暗电流、读出噪声、光子噪声以及数据处理引入的伪影。噪声评估的核心指标是信噪比（SNR），即信号均值与噪声标准差的比值。对于高光谱数据，SNR通常随波段变化——可见光波段较高（>200:1），而SWIR波段较低（<50:1）。坏像元（死像元、热像元）表现为DN值恒定或异常波动，条带噪声则呈现周期性行/列条纹。
判断方法：
- SNR计算：选取均匀场景（如深水区、均匀沙地），计算该区域各波段像元值的标准差σ，SNR = 均值/σ。
- 坏像元检测：统计每个像元的时间序列（多帧数据）或空间邻域差异，若某像元DN值偏离邻域均值超过3σ，标记为坏像元。
- 条带噪声检测：对图像进行傅里叶变换，在频域中识别沿行/列方向的周期性峰值。
案例拆解：处理无人机高光谱数据（400-1000nm，270波段）时，发现第150-180波段（对应约750-850nm）出现明显条带。通过频域分析确认噪声频率为每8行重复一次。进一步排查发现，该传感器为推扫式，探测器阵列中第3列和第7列存在响应不一致。解决方案：① 使用“全局去条带”算法（如矩匹配法）进行校正；② 对坏列进行插值替换；③ 在后续处理中降低这些波段的权重。校正后，图像SNR从平均80:1提升至150:1，矿物识别精度提高约15%。