4. 数据压缩基础与信息论度量
遥感载荷每天产生的原始数据量极大。以一幅 10000×10000 像素、每像素 12 bit、4 个谱段的高光谱推扫影像为例,单景原始数据约为 10000×10000×12×4/8 ≈ 600 MB;若按 200 景/天的下传需求计算,日数据量可达 120 GB 量级。星地数传链路带宽有限,星上存储也有限,因此必须在星上或地面进行数据压缩。压缩不是"把数据变小"这么简单,它涉及两个根本问题:能压到多小(压缩比)和压完还剩多少信息(保真度)。信息论为这两个问题提供了统一的度量框架。
4.1 无损压缩与有损压缩
无损压缩要求解压后的数据与原始数据逐比特一致,典型算法包括游程编码、Huffman 编码、算术编码、LZW 以及面向遥感影像的预测+熵编码(如 DPCM+Huffman、CCSDS 123.0-B-2 无损模式)。无损压缩的压缩比通常为 1.5:1~3:1,取决于影像的空间相关性和谱间相关性。其优点是保真度绝对可靠,适合辐射定标数据、辅助数据、工程遥测等不允许失真的场景。
有损压缩允许解压结果与原始数据存在受控误差,典型算法包括 JPEG、JPEG2000、CCSDS 122.0-B-1、基于小波或变换的星上压缩方案。有损压缩的压缩比可达 8:1~20:1 甚至更高,代价是引入不可逆的信息损失。遥感应用对损失的容忍度取决于后续定量反演对辐射精度的要求:例如云检测、变化检测对压缩误差较敏感,而目标检测、场景分类相对宽容。
4.2 熵:压缩的理论下界
香农信息论指出,一个离散无记忆信源 X 的熵 H(X) 定义为:
H(X) = -Σ p(xi) · log2 p(xi) (单位:bit/符号)
熵表示信源的平均不确定度,也等于无损编码时每个符号所需的最小平均比特数。对于 12 bit 量化的遥感像元,若其灰度分布极不均匀(例如大量背景像元集中在少数几个值),实际熵可能只有 6~8 bit,这就是无损压缩能够生效的根本原因。熵编码器(Huffman、算术编码)的任务就是让平均码长逼近熵。
实际中还要考虑条件熵:相邻像元之间存在空间相关性,当前像元在已知左侧和上方像元条件下的条件熵 H(X|X_left, X_up) 通常显著低于一阶熵。预测编码(DPCM)正是利用这一点,先做预测再对残差编码,残差分布的熵远小于原始灰度熵。
4.3 率失真理论与压缩比
有损压缩的核心理论是率失真函数 R(D):在允许平均失真不超过 D 的前提下,信源编码所需的最小码率。R(D) 是单调递减的凸函数,D=0 时 R(0)=H(X)(无损极限),D 增大时 R(D) 下降。它给出了"给定失真下最多能压到多少"的理论边界。
工程中更常用的是压缩比 CR:
CR = 原始数据量 / 压缩后数据量
例如原始 12 bit/像元,压缩后平均 1.5 bit/像元,则 CR = 8:1。压缩比与码率互为倒数关系:码率 1.5 bit/像元对应 CR=8。星上压缩系统通常以"目标码率"为控制量,通过调整量化步长或码块截断策略来逼近目标压缩比。
4.4 保真度指标
有损压缩必须量化"损失了多少"。常用指标包括:
- 均方误差 MSE:MSE = (1/N)Σ(xi - yi)²,单位与数据量纲一致。
- 峰值信噪比 PSNR:PSNR = 10·log10(MAX²/MSE),单位 dB。MAX 为峰值信号(12 bit 数据取 4095)。PSNR 越高,失真越小,遥感影像通常要求 PSNR ≥ 40 dB 才能满足多数定量应用。
- 最大绝对误差 MAE:max|xi - yi|,用于约束最坏情况误差。
- 谱角 SAM:衡量光谱向量方向偏差,对高光谱目标识别尤为关键。
这些指标各有侧重:PSNR 反映整体能量误差,MAE 反映极端误差,SAM 反映光谱形状保真度。工程验收时通常同时给出多个指标,而不是只看一个。
4.5 遥感应用对压缩的容忍度
不同遥感应用对压缩误差的容忍度差异很大。下表给出典型参考(示例值,实际需按载荷和应用验证):
| 应用类型 | 可接受压缩方式 | 典型压缩比 | 关键保真度要求 |
|---|---|---|---|
| 辐射定标/工程遥测 | 仅无损 | 1.5:1~3:1 | 逐比特一致 |
| 定量反演(地表温度、水色) | 近无损/低损 | 3:1~5:1 | PSNR ≥ 45 dB,MAE ≤ 2 DN |
| 变化检测/云检测 | 低损 | 5:1~8:1 | PSNR ≥ 40 dB |
| 目标检测/场景分类 | 有损 | 8:1~15:1 | PSNR ≥ 35 dB,SAM ≤ 2° |
| 快视图/浏览 | 高压缩有损 | 15:1~30:1 | 目视可辨 |
4.6 本节知识关系图
下图把无损/有损两条路径、熵与率失真的理论边界、压缩比与保真度指标、以及遥感应用容忍度之间的关系集中呈现,便于对照理解。
理解这张关系图的关键在于:无损与有损不是对立的两个选项,而是同一权衡空间的两端。熵给出无损端的最小码率,率失真函数给出有损端的最小码率,压缩比和保真度指标是工程上可测量、可验收的两个坐标。实际星上压缩系统设计,就是在这两个坐标之间,根据下游应用的容忍度找到合适的落点。