3、视频压缩原理：空间冗余、时间冗余、视觉冗余、熵编码基本概念
视频编码的本质是在尽可能保持主观视觉质量的前提下，用更少的比特数来表示原始视频信号。H.264与H.265之所以能实现极高的压缩比，核心在于它们系统性地利用了视频信号中存在的四类冗余：空间冗余、时间冗余、视觉冗余和统计冗余（熵编码）。理解这四类冗余的数学本质与工程实现，是掌握后续帧内预测、帧间预测、变换量化与熵编码模块的基础。本章将从原理、判断方法、工程案例与常见误区四个维度展开。
3.1 空间冗余：帧内像素相关性的利用
核心原理：在一帧自然图像中，相邻像素的亮度和色度值通常变化平缓。例如，一面白墙的相邻像素值几乎相同，天空区域的像素值渐变。这种空间相关性构成了空间冗余。H.264/H.265通过帧内预测来消除空间冗余：用已编码的相邻像素（参考像素）预测当前块（如4×4、8×8、16×16或更大）的像素值，仅对预测残差进行变换、量化和编码。预测越准确，残差能量越小，编码所需比特数越少。
判断方法：在工程中，判断空间冗余是否被有效利用，主要观察两个指标：帧内预测模式的率失真代价（RD Cost）和残差能量分布。若残差块中高频系数（右下角）能量占比过高，说明预测方向选择不佳或块尺寸不匹配纹理方向。H.265相比H.264增加了多达35种帧内预测模式（H.264为9种），并引入了Planar预测和更灵活的块划分（从4×4到64×64），能更精细地匹配图像纹理方向。
| 对比维度 | H.264 | H.265 |
|---|---|---|
| 帧内预测模式数 | 9种（4×4亮度） | 35种（含Planar、DC、33种角度） |
| 最大预测块尺寸 | 16×16 | 64×64 |
| 变换类型 | 4×4/8×8 DCT | 4×4~32×32 DCT + 4×4 DST |
| 参考像素滤波 | 简单平滑 | 自适应参考像素平滑 |
3.2 时间冗余：帧间预测与运动补偿
核心原理：视频序列中相邻帧的时间间隔极短（如1/30秒），画面内容变化很小。时间冗余利用已编码帧（参考帧）来预测当前帧。编码器通过运动估计（ME）在参考帧中搜索与当前块最匹配的块，记录运动矢量（MV），然后仅编码运动矢量和预测残差。H.265引入了更灵活的编码单元（CU）划分、非对称运动划分（AMP）和更精细的运动矢量精度（1/4像素），进一步提升了帧间预测效率。
操作流程：帧间编码的核心步骤包括：① 确定参考帧列表（L0/L1）；② 对当前CU进行运动估计，搜索最佳MV；③ 进行运动补偿，生成预测块；④ 计算残差并变换量化；⑤ 对MV和残差系数进行熵编码。H.265还支持Merge模式（空域/时域候选合并）和AMVP（自适应运动矢量预测），大幅减少了MV的编码开销。
某安防摄像头拍摄固定场景，画面中仅有人物缓慢移动。原始码率约8Mbps（1080p30）。采用H.265编码后，由于背景完全静止，时间冗余被极大消除，运动区域仅占画面5%，最终码率降至1.2Mbps，主观质量几乎无差异。关键参数：GOP长度设为4秒（120帧），参考帧数量设为4，开启长期参考帧（LTR）。若使用H.264，同等质量下码率约为2.5Mbps。代价是编码延迟增加约200ms，但安防场景可接受。
3.3 视觉冗余：人眼感知特性的工程化应用
核心原理：人眼对视频信号的敏感度是非均匀的。对亮度比对色度更敏感；对低频比对高频更敏感；对暗部细节比对亮部细节更敏感；对运动区域的空间细节不敏感。视觉冗余利用这些特性，通过量化过程丢弃人眼不敏感的信息。H.264/H.265使用量化参数（QP）控制量化步长，QP越大，量化越粗糙，压缩率越高，但失真也越大。H.265引入了量化矩阵（Scaling List），可针对不同频率系数设置不同量化步长，高频系数通常量化更粗。
判断方法：评估视觉冗余利用是否合理，不能只看PSNR（峰值信噪比），应结合SSIM（结构相似性）或VMAF（视频多方法评估融合）。例如，当PSNR下降2dB但VMAF仅下降3分时，说明量化策略符合人眼感知。H.265的量化范围从H.264的0~51扩展到0~51（相同），但新增了依赖量化（DQ）和变换块尺寸自适应，能更精细地控制失真分布。
3.4 熵编码：统计冗余的消除
核心原理：经过预测、变换、量化后，残差系数和运动矢量等语法元素呈现出非均匀的概率分布。熵编码根据符号出现的概率分配不同长度的码字，概率高的符号用短码，概率低的用长码，从而消除统计冗余。H.264支持CAVLC（基于上下文的自适应变长编码）和CABAC（基于上下文的自适应二进制算术编码）。H.265仅保留CABAC，并对其进行了改进，如更高效的上下文建模和并行处理能力。
操作流程：CABAC编码分为三个步骤：① 二值化（将非二进制语法元素映射为二进制串）；② 上下文建模（为每个二进制位分配概率模型）；③ 算术编码（根据概率模型进行区间递进）。H.265的CABAC支持多核并行，通过熵切片（Entropy Slices）和波前并行处理（WPP）提升编码速度。
| 特性 | CAVLC（H.264） | CABAC（H.264） | CABAC（H.265） |
|---|---|---|---|
| 压缩效率 | 基准 | 比CAVLC高10%~15% | 比H.264 CABAC高5%~8% |
| 复杂度 | 低 | 中 | 中高 |
| 并行性 | 天然并行 | 串行依赖 | 支持WPP并行 |
| 适用场景 | 低延迟、硬件受限 | 高质量、高压缩比 | 超高清、广播级 |
3.5 四类冗余的协同与工程权衡
实际编码器中，四类冗余的消除并非独立进行，而是相互影响。例如，更强的帧间预测（消除时间冗余）会产生更小的残差，进而降低熵编码的负担；但运动估计本身需要消耗比特数。量化（消除视觉冗余）会影响残差系数的统计特性，进而影响熵编码效率。编码器的率失真优化（RDO）模块会综合权衡各模块的比特分配，寻找全局最优。
常见误区：
- 误区一：认为QP越大越好。QP过大会导致视觉冗余过度消除，出现明显伪影，且码率下降趋缓。
- 误区二：忽略GOP结构对时间冗余的影响。过长的GOP在场景切换时会产生严重的质量波动。
- 误区三：盲目追求高压缩比而不考虑解码端性能。H.265的CABAC虽然高效，但解码复杂度高，在低端设备上可能无法实时解码。
- 误区四：忽视色度冗余。人眼对色度不敏感，但过度降低色度采样率（如4:0:0）会导致色彩失真，在视频编辑场景不可接受。
某直播平台使用H.265编码，分辨率为1920×1080，帧率60fps。初始设置：QP=28，GOP=2秒，CABAC开启。实测码率约4.5Mbps，但观众反馈运动场景有模糊感。分析：运动模糊源于时间冗余消除不足——GOP过长导致参考帧距离过远，运动估计失效。优化方案：将GOP缩短至1秒，开启B帧（双向预测），QP调整为26（降低量化强度），同时开启自适应量化（AQ）以保护暗部细节。优化后码率升至5.2Mbps，但主观清晰度显著提升，VMAF从82分升至91分。代价是编码延迟增加约150ms，但直播场景可接受。
总结复盘：理解四类冗余是视频编码的基石。空间冗余靠帧内预测，时间冗余靠帧间预测，视觉冗余靠量化，统计冗余靠熵编码。工程实践中，应根据应用场景（实时通信、点播、广播、监控）和硬件能力，动态调整各模块的强度。H.265相比H.264，在每一类冗余的消除上都更加精细，但代价是计算复杂度显著增加。建议在部署前进行充分的率失真性能测试，结合主观评价和客观指标（PSNR、SSIM、VMAF）选择最优参数组合。