H.264标准基础：视频编码原理、H.264标准概述、编码器架构

2.2 H.264标准概述：分层结构与关键概念

H.264（MPEG-4 Part 10 / AVC）由ITU-T VCEG与ISO/IEC MPEG联合制定，其标准文档定义了语法、语义和解码过程，但并未规定编码器的具体实现方式。这意味着编码器有极大的设计自由度——只要码流符合标准，任何编码策略都是合法的。这一特性直接影响了我们阅读源码的方式：源码中的许多决策（如码率控制、模式选择）并非标准强制，而是工程优化。

H.264标准采用双层架构：

标准还定义了丰富的关键概念，这些概念在源码中对应着具体的数据结构和函数：

• 宏块（Macroblock）：16×16像素的基本编码单元，源码中通常对应一个结构体或类实例。
• 片（Slice）：一帧图像可划分为多个片，每个片独立解码，是错误隔离的基本单位。
• I/P/B帧：帧内编码帧、前向预测帧、双向预测帧，对应不同的预测方式和参考关系。
• SPS/PPS：序列参数集和图像参数集，存放分辨率、帧率、熵编码模式等关键配置。
• 参考帧管理：通过DPB（解码图像缓冲）管理多帧参考，支持灵活的参考帧选择。

2.3 编码器整体架构：从源码模块到数据流

一个典型的H.264编码器源码（如x264、OpenH264）在架构上可分为前端分析与后端编码两大部分。前端负责读取原始视频、进行颜色空间转换和预处理；后端则实现核心的混合编码流程。下面以x264为例，梳理编码器的主要模块：

// x264编码器核心模块划分（简化）
x264_encoder_encode()          // 编码一帧的入口函数
├── x264_frame_put_unused()    // 帧管理：从空闲队列取帧
├── x264_lookahead_get_frame() // 前瞻模块：决定帧类型和QP
├── x264_slice_init()          // 片初始化：设置SPS/PPS参数
├── x264_macroblock_analyse()  // 宏块分析：帧内/帧间模式决策
│   ├── x264_mb_analyse_intra()  // 帧内预测模式选择
│   └── x264_mb_analyse_inter()  // 帧间运动估计与补偿
├── x264_macroblock_encode()   // 宏块编码：变换、量化、熵编码
├── x264_macroblock_write()    // 写入码流
└── x264_frame_deblock()       // 去块滤波

编码器的工作流程可以概括为以下步骤：

1. 帧类型决策：根据GOP结构和编码复杂度决定当前帧编码为I、P还是B帧。
2. 宏块级预测：对每个宏块，在帧内预测（9种4×4模式、4种16×16模式）和帧间预测（多种块划分、多参考帧）中选择率失真最优的模式。
3. 残差编码：对预测残差进行4×4或8×8整数DCT变换，然后进行量化。
4. 重建环路：反量化、反变换后与预测值相加，经去块滤波得到重建帧，存入参考帧列表。
5. 熵编码：将量化系数、运动矢量、模式信息等语法元素编码为二进制码流。

2.4 案例与复盘：从源码理解编码器的一次编码过程

假设我们要用x264编码一个1080p视频序列，调用x264_encoder_encode()编码第N帧（P帧）。源码中的实际执行路径如下：

// 1. 帧管理：从DPB中获取参考帧列表
x264_frame_t *ref[2];  // ref[0]=前向参考, ref[1]=后向参考(若B帧)

// 2. 对每个16×16宏块进行模式决策
for (mb_y = 0; mb_y < h->mb.i_mb_height; mb_y++) {
    for (mb_x = 0; mb_x < h->mb.i_mb_width; mb_x++) {
        // 帧间分析：搜索最佳运动矢量
        x264_mb_analyse_inter_p( h, &analysis );
        // 帧内分析：计算帧内预测代价
        x264_mb_analyse_intra( h, &analysis );
        // 比较代价，选择最优模式
        if (analysis.i_cost_intra < analysis.i_cost_inter)
            // 选择帧内编码
        else
            // 选择帧间编码 + 运动补偿
    }
}

// 3. 对选定的残差进行变换量化
x264_mb_encode( h, ... );

// 4. 重建并滤波
x264_mb_deblock( h, ... );

通过这个案例，我们可以复盘出源码阅读的几个关键要点：

• 宏块是编码的最小决策单位，所有模式选择、率失真计算都以宏块为粒度进行。
• 运动估计是计算热点，x264中实现了多种搜索算法（菱形搜索、六边形搜索、UMH等），源码中对应x264_me_search()函数。
• 参考帧管理是正确性的关键，编码器必须严格维护DPB中帧的标记状态（短期参考、长期参考、未使用），否则会产生参考帧错乱。