4. 数据压缩基础与信息论度量

遥感载荷每天产生的原始数据量极大。以一幅 10000×10000 像素、每像素 12 bit、4 个谱段的高光谱推扫影像为例,单景原始数据约为 10000×10000×12×4/8 ≈ 600 MB;若按 200 景/天的下传需求计算,日数据量可达 120 GB 量级。星地数传链路带宽有限,星上存储也有限,因此必须在星上或地面进行数据压缩。压缩不是"把数据变小"这么简单,它涉及两个根本问题:能压到多小(压缩比)和压完还剩多少信息(保真度)。信息论为这两个问题提供了统一的度量框架。

4.1 无损压缩与有损压缩

无损压缩要求解压后的数据与原始数据逐比特一致,典型算法包括游程编码、Huffman 编码、算术编码、LZW 以及面向遥感影像的预测+熵编码(如 DPCM+Huffman、CCSDS 123.0-B-2 无损模式)。无损压缩的压缩比通常为 1.5:1~3:1,取决于影像的空间相关性和谱间相关性。其优点是保真度绝对可靠,适合辐射定标数据、辅助数据、工程遥测等不允许失真的场景。

有损压缩允许解压结果与原始数据存在受控误差,典型算法包括 JPEG、JPEG2000、CCSDS 122.0-B-1、基于小波或变换的星上压缩方案。有损压缩的压缩比可达 8:1~20:1 甚至更高,代价是引入不可逆的信息损失。遥感应用对损失的容忍度取决于后续定量反演对辐射精度的要求:例如云检测、变化检测对压缩误差较敏感,而目标检测、场景分类相对宽容。

关键判断:选择无损还是有损,不取决于"哪个压得更小",而取决于下游应用能否接受解压后的辐射误差。同一载荷的不同数据产品可以采用不同策略:原始辐射数据用无损,快视图用高压缩比有损。

4.2 熵:压缩的理论下界

香农信息论指出,一个离散无记忆信源 X 的熵 H(X) 定义为:

H(X) = -Σ p(xi) · log2 p(xi)   (单位:bit/符号)

熵表示信源的平均不确定度,也等于无损编码时每个符号所需的最小平均比特数。对于 12 bit 量化的遥感像元,若其灰度分布极不均匀(例如大量背景像元集中在少数几个值),实际熵可能只有 6~8 bit,这就是无损压缩能够生效的根本原因。熵编码器(Huffman、算术编码)的任务就是让平均码长逼近熵。

实际中还要考虑条件熵:相邻像元之间存在空间相关性,当前像元在已知左侧和上方像元条件下的条件熵 H(X|X_left, X_up) 通常显著低于一阶熵。预测编码(DPCM)正是利用这一点,先做预测再对残差编码,残差分布的熵远小于原始灰度熵。

4.3 率失真理论与压缩比

有损压缩的核心理论是率失真函数 R(D):在允许平均失真不超过 D 的前提下,信源编码所需的最小码率。R(D) 是单调递减的凸函数,D=0 时 R(0)=H(X)(无损极限),D 增大时 R(D) 下降。它给出了"给定失真下最多能压到多少"的理论边界。

工程中更常用的是压缩比 CR:

CR = 原始数据量 / 压缩后数据量

例如原始 12 bit/像元,压缩后平均 1.5 bit/像元,则 CR = 8:1。压缩比与码率互为倒数关系:码率 1.5 bit/像元对应 CR=8。星上压缩系统通常以"目标码率"为控制量,通过调整量化步长或码块截断策略来逼近目标压缩比。

4.4 保真度指标

有损压缩必须量化"损失了多少"。常用指标包括:

  • 均方误差 MSE:MSE = (1/N)Σ(xi - yi)²,单位与数据量纲一致。
  • 峰值信噪比 PSNR:PSNR = 10·log10(MAX²/MSE),单位 dB。MAX 为峰值信号(12 bit 数据取 4095)。PSNR 越高,失真越小,遥感影像通常要求 PSNR ≥ 40 dB 才能满足多数定量应用。
  • 最大绝对误差 MAE:max|xi - yi|,用于约束最坏情况误差。
  • 谱角 SAM:衡量光谱向量方向偏差,对高光谱目标识别尤为关键。

这些指标各有侧重:PSNR 反映整体能量误差,MAE 反映极端误差,SAM 反映光谱形状保真度。工程验收时通常同时给出多个指标,而不是只看一个。

4.5 遥感应用对压缩的容忍度

不同遥感应用对压缩误差的容忍度差异很大。下表给出典型参考(示例值,实际需按载荷和应用验证):

应用类型可接受压缩方式典型压缩比关键保真度要求
辐射定标/工程遥测仅无损1.5:1~3:1逐比特一致
定量反演(地表温度、水色)近无损/低损3:1~5:1PSNR ≥ 45 dB,MAE ≤ 2 DN
变化检测/云检测低损5:1~8:1PSNR ≥ 40 dB
目标检测/场景分类有损8:1~15:1PSNR ≥ 35 dB,SAM ≤ 2°
快视图/浏览高压缩有损15:1~30:1目视可辨
工程建议:星上压缩策略应按"数据产品分级"设计。原始辐射数据走无损通道;科学数据走近无损通道(目标码率 2~3 bit/像元);快视图走有损通道。这样既保证关键数据的可靠性,又充分利用链路带宽。

4.6 本节知识关系图

下图把无损/有损两条路径、熵与率失真的理论边界、压缩比与保真度指标、以及遥感应用容忍度之间的关系集中呈现,便于对照理解。

遥感原始数据(12 bit/像元) 无损压缩路径 DPCM + Huffman / CCSDS 123 无损 有损压缩路径 变换/小波 + 量化 + 熵编码 理论下界:熵 H(X) 平均码长 ≥ H(X),条件熵更低 理论边界:率失真 R(D) 给定失真 D 下的最小码率 压缩比 CR = 原始/压缩后 典型 1.5:1 ~ 3:1 保真度指标 MSE / PSNR / MAE / SAM 遥感应用容忍度分级 定标→无损 | 定量反演→近无损 | 检测分类→有损 | 快视图→高压缩 核心权衡:压缩比 ↑ → 码率 ↓ → 失真 ↑ → 应用可用性 ↓

理解这张关系图的关键在于:无损与有损不是对立的两个选项,而是同一权衡空间的两端。熵给出无损端的最小码率,率失真函数给出有损端的最小码率,压缩比和保真度指标是工程上可测量、可验收的两个坐标。实际星上压缩系统设计,就是在这两个坐标之间,根据下游应用的容忍度找到合适的落点。