4. H.264/AVC 基础：从背景到框架总览

各位好，欢迎来到 H.264 的世界。这一章我们聊聊 H.264/AVC 的基础。说实话，H.264 是我个人职业生涯里打交道最多的编码标准，没有之一。从早期的手机视频通话，到后来的 1080p 蓝光，再到现在的直播和短视频，到处都有它的影子。你想想看，一个标准能火十几年，一定有它的道理。

4.1 H.264 的发展背景与地位

H.264，也叫 AVC（Advanced Video Coding），是 ITU-T 和 ISO/IEC 两大组织在 2003 年联合推出的。它之前的名字叫 H.26L，L 代表 Light，轻量化的意思。但后来大家发现这玩意儿一点也不轻，反而重得很——重到能扛起整个高清时代。

在 H.264 之前，MPEG-2 是 DVD 和数字电视的主力，H.263 是视频会议的老将。但它们有个共同的痛点：压缩效率不够。我记得 2005 年左右，我在做一个视频监控项目，用 MPEG-4 ASP 编码 720p 的视频，码率压到 2Mbps 就已经糊得不行了。后来换成 H.264，同样的画质，码率直接砍到 1.2Mbps。这就是 H.264 的厉害之处——同等画质下，码率比 MPEG-2 节省 50% 以上。

为什么 H.264 能这么强？说白了，它把视频编码的各个模块都重新打磨了一遍。从运动估计的精度，到变换块的大小，再到熵编码的效率，每一个环节都做了优化。它不是某个单一技术的突破，而是系统性的工程胜利。

4.2 Profile 与 Level 的概念

H.264 标准特别长，长到没人能一次性看完。但实际工程中，你不需要了解所有细节，只需要知道两个关键概念：Profile 和 Level。这两个东西决定了你的编码器能做什么、不能做什么。

4.2.1 Profile（档次）

Profile 定义了编码器支持哪些工具集。打个比方，Profile 就像汽车的配置——低配版没有天窗，高配版才有。H.264 最常用的三个 Profile 是：

Profile	核心特性	典型应用
Baseline	I/P 帧、CAVLC、去块滤波	视频会议、移动设备
Main	Baseline + B 帧、CABAC、加权预测	标清电视、DVD
High	Main + 8x8 变换、自定义量化矩阵	蓝光、高清广播、专业制作

我在项目中遇到过一个问题：用 Baseline Profile 编码的视频，在某个播放器上死活打不开。查了半天才发现，那个播放器只支持 Main Profile 以上的 CABAC 解码。所以，选 Profile 的时候一定要想清楚你的目标设备支持什么。

4.2.2 Level（级别）

Level 定义了编码器的性能上限，比如最大分辨率、最大帧率、最大码率。它就像汽车的排量——1.6L 的发动机跑不到 200km/h，3.0L 的才能。H.264 的 Level 从 1 到 5.2，每个 Level 都有明确的参数约束。

举个例子，Level 3.0 支持的最大分辨率是 720x576@30fps，最大码率是 10Mbps。而 Level 4.0 可以支持 1920x1080@30fps，码率上限 20Mbps。你想想看，如果你编码一个 4K 视频却声明 Level 3.0，解码器会直接拒绝解码——因为它认为你撒谎了。

Level	最大分辨率	最大帧率	最大码率（High Profile）
3.0	720x576	30	10 Mbps
3.1	1280x720	30	14 Mbps
4.0	1920x1080	30	20 Mbps
4.1	1920x1080	60	50 Mbps
5.0	2560x1920	30	135 Mbps

4.3 H.264 编码框架总览

好了，背景和概念讲完了，我们来看看 H.264 到底是怎么工作的。它的编码框架可以用五个核心模块来概括：预测、变换、量化、熵编码、环路滤波。这五个模块串在一起，就构成了一个完整的编码器。

下面这张图是我自己画的，把 H.264 的编码流程和关键数据流都标出来了。你仔细看，会发现它其实是一个带反馈的环路——编码后的数据会经过重建，再送回预测模块，用于下一帧的参考。

4.3.1 预测模块

预测是 H.264 压缩的核心。它做的事情很简单：用已经编码好的数据，去猜当前块长什么样。猜得越准，残差越小，码率就越低。

• 帧内预测： 用当前帧内已经编码的相邻像素，预测当前块。H.264 支持 9 种 4x4 预测模式和 4 种 16x16 预测模式。方向从水平、垂直到对角线，覆盖了常见的纹理走向。
• 帧间预测： 用之前已经编码的帧（参考帧），通过运动估计找到最匹配的块。H.264 支持 1/4 像素精度的运动矢量，比 H.263 的 1/2 像素精度更精细。我做过测试，1/4 像素精度比 1/2 像素精度能多省 10% 左右的码率。

4.3.2 变换与量化

预测做完后，我们得到的是残差数据——也就是实际值和预测值的差。残差通常集中在低频区域，高频部分接近零。变换的作用就是把残差从空间域转换到频率域，让能量更集中。

H.264 用的是 4x4 整数 DCT 变换。为什么是整数？因为浮点 DCT 在不同平台上会有精度差异，导致解码端和编码端不一致。整数变换保证了编解码的完全匹配，这是工程上的一个巧妙设计。

量化就更直接了——把变换后的系数除以一个步长，然后取整。步长越大，系数被砍得越狠，码率越低，但画质也越差。量化步长由 QP（Quantization Parameter）控制，QP 每增加 6，量化步长翻倍，码率大约减半。

4.3.3 熵编码

量化后的系数、运动矢量、预测模式等信息，最后都要通过熵编码变成二进制码流。H.264 提供了两种选择：

• CAVLC（Context-Adaptive Variable Length Coding）： 基于上下文的自适应变长编码。实现简单，解码快，适合低功耗设备。
• CABAC（Context-Adaptive Binary Arithmetic Coding）： 基于上下文的自适应二进制算术编码。压缩率比 CAVLC 高 10-15%，但计算复杂度也高不少。

我建议，如果目标设备性能足够，优先用 CABAC。省下来的码率，可以用来提升画质，或者降低带宽成本。但如果是实时通信场景，CAVLC 的低延迟优势更明显。

4.3.4 环路滤波

环路滤波，也叫去块滤波，是 H.264 的一个亮点。为什么需要它？因为基于块的编码会在块边界产生不连续的像素值，看起来像马赛克。环路滤波的作用就是把这些边界平滑掉。

注意，环路滤波是在编码环路内部的——滤波后的帧会被存入参考帧缓存，用于后续帧的预测。这意味着它不仅能改善主观画质，还能提高预测精度，间接降低码率。