2、视频基础与色彩空间：像素、分辨率、帧率、YUV色彩采样格式（4:2:0/4:2:2/4:4:4）及转换
在深入H.264/H.265编码语法之前，必须先建立对视频数字表示的基本认知。视频编码的本质是对一系列静态图像（帧）进行空间和时间维度的冗余消除，而这一切都建立在像素、分辨率、帧率以及色彩采样格式的精确数学定义之上。特别是YUV色彩空间及其采样格式，直接决定了编码器的输入数据布局和压缩潜力。本章将系统梳理这些基础概念，并重点剖析4:2:0、4:2:2、4:4:4三种采样格式的差异、转换方法及其对编码质量与码率的影响。
2.1 像素、分辨率与帧率：视频的基本时间-空间采样
核心原理：数字视频的本质是对连续光学场景进行离散化采样。像素（Pixel）是图像采样的最小单元，每个像素包含亮度与色彩信息。分辨率定义了单帧图像在水平和垂直方向上的像素数量，如1920×1080表示每帧包含207.36万个像素。帧率（Frame Rate）则定义了时间维度上的采样密度，即每秒采集的帧数（fps）。这三个参数共同决定了视频的原始数据量：原始码率 = 分辨率 × 帧率 × 每像素比特数。例如，1080p@30fps的RGB888视频原始码率约为1920×1080×30×24 ≈ 1.49Gbps，这远超实际传输带宽，因此必须进行压缩。
判断方法与工程考量：在实际项目中，选择分辨率和帧率需根据应用场景平衡质量与带宽。监控场景常用720p/1080p@25fps以节省存储；体育转播则需1080p50/60甚至4K@120fps捕捉快速运动；视频会议通常采用720p@30fps保证实时性。值得注意的是，帧率并非越高越好——高帧率会显著增加编码复杂度与码率，且当场景静态时，高帧率带来的冗余帧会浪费编码资源。现代编码器（如H.265）支持通过帧率上变换或时域可分级编码来灵活适配不同帧率需求。
| 参数 | 典型值 | 对编码的影响 | 应用场景 |
|---|---|---|---|
| 分辨率 | 640×480 ~ 7680×4320 | 决定空间冗余消除的复杂度，分辨率越高，块划分与运动估计计算量越大 | 移动端视频、HDTV、数字影院 |
| 帧率 | 24/25/30/50/60/120 fps | 决定时间冗余消除的潜力，帧率越高，运动补偿的参考帧选择越灵活 | 电影24fps、电视25/30fps、体育60fps+ |
| 像素深度 | 8-bit / 10-bit / 12-bit | 决定量化精度，10-bit可显著减少banding伪影，但增加编码计算量 | HDR视频要求10-bit以上 |
2.2 YUV色彩空间：亮度与色度分离的数学基础
核心原理：YUV（又称YCbCr）色彩空间将颜色分解为一个亮度分量（Y）和两个色度分量（Cb、Cr）。其中Y代表亮度（Luma），即人眼感知的明暗信息；Cb代表蓝色分量与亮度的差值（B-Y），Cr代表红色分量与亮度的差值（R-Y）。这种分离的物理基础在于人眼视觉特性：人眼对亮度空间分辨率极高，但对色度空间分辨率较低。因此，可以对色度分量进行下采样而不被察觉，从而大幅压缩数据量。从RGB到YUV的转换遵循ITU-R BT.601（标清）或BT.709（高清）标准，转换公式为：
# BT.709 标准转换（8-bit，范围0-255）
Y = 0.2126*R + 0.7152*G + 0.0722*B
Cb = -0.1146*R - 0.3854*G + 0.5000*B + 128
Cr = 0.5000*R - 0.4542*G - 0.0458*B + 128转换操作流程：在实际编码流程中，摄像头传感器输出RAW Bayer格式数据，经过ISP（图像信号处理器）进行去马赛克、白平衡、伽马校正后得到RGB数据，再通过色彩空间转换矩阵（CSC）转为YUV。转换时需注意量化范围：视频编码通常使用有限范围（Limited Range，Y:16-235，Cb/Cr:16-240），而显示器显示使用全范围（Full Range，0-255）。若转换不当，会导致对比度失真或色彩偏移。
2.3 色彩采样格式：4:4:4 / 4:2:2 / 4:2:0 的数学定义与视觉差异
核心原理：色彩采样格式描述了色度分量相对于亮度分量的空间分辨率。以4:2:0为例，其含义是：在每4个亮度像素组成的2×2块中，Cb和Cr各只采样1个像素。具体而言，4:2:0在水平方向每2个亮度像素采样1个色度像素，在垂直方向同样每2行采样1行色度像素。因此，色度分量的数据量仅为亮度分量的1/4。4:2:2则在水平方向每2个亮度像素采样1个色度像素，但垂直方向全采样，色度数据量为亮度的一半。4:4:4则保持色度与亮度完全相同的分辨率。
| 采样格式 | 色度分辨率（相对亮度） | 数据量（相对4:4:4） | 典型应用 | H.264/H.265支持 |
|---|---|---|---|---|
| 4:4:4 | 水平1:1，垂直1:1 | 100% | 电影后期、屏幕内容、医学影像 | H.264 High 4:4:4 Profile / H.265 Main 4:4:4 |
| 4:2:2 | 水平1:2，垂直1:1 | 66.7% | 广播级制作、专业摄像机 | H.264 High 4:2:2 / H.265 Main 4:2:2 |
| 4:2:0 | 水平1:2，垂直1:2 | 50% | 消费级视频、流媒体、视频会议 | H.264 Baseline/Main/High / H.265 Main |
判断方法与选择依据：选择采样格式需权衡质量与码率。对于自然场景视频，4:2:0在主观质量上与4:4:4几乎无差别，因为人眼对色度细节不敏感。但对于屏幕内容（如文字、UI、线条图），4:2:0会导致彩色文字边缘出现模糊和渗色，此时应使用4:4:4。专业影视制作流程中，拍摄和剪辑阶段使用4:2:2或4:4:4以保留色彩信息，最终分发时转为4:2:0。值得注意的是，H.265的屏幕内容编码（SCC）扩展中，4:4:4格式配合调色板模式可大幅提升屏幕内容压缩效率。
2.4 YUV采样格式转换：下采样与上采样的工程实现
核心原理：采样格式转换分为下采样（4:4:4→4:2:0）和上采样（4:2:0→4:4:4）。下采样需设计抗混叠滤波器，防止高频色度信息折叠到低频造成伪色。标准做法是先对色度平面进行低通滤波，再抽取像素。上采样则通过插值滤波器重建色度像素，常用方法包括最近邻、双线性、双三次和lanczos。在编码器实现中，转换通常由前处理模块完成，需注意转换精度——使用整数运算时需保留足够位宽，避免舍入误差累积。
操作流程（以4:2:0转4:4:4为例）：
- 分离平面：将I420数据拆分为Y、U、V三个独立平面。
- 确定插值位置：根据标准（BT.601/BT.709）确定色度采样点的相位偏移。例如，MPEG-2标准的4:2:0色度采样点位于亮度像素之间（水平居中，垂直居中），而JPEG标准的采样点位于左上角。
- 执行插值：对U、V平面分别进行水平与垂直方向的插值。使用6-tap或4-tap FIR滤波器可获得较好质量。
- 合并平面：将插值后的U、V平面与原始Y平面按目标格式排列（如NV12、YV12、P010等）。
# 伪代码：4:2:0 → 4:4:4 双线性插值（简化版）
for each row in output_height:
for each col in output_width:
src_row = row / 2
src_col = col / 2
# 双线性插值
u_out[row][col] = (u[src_row][src_col] + u[src_row][src_col+1] +
u[src_row+1][src_col] + u[src_row+1][src_col+1]) / 42.5 常见误区与总结复盘
误区一：认为4:2:0是“有损”而4:4:4是“无损”。实际上，4:2:0只是对色度进行了下采样，并非有损压缩。若原始信号本身色度带宽有限（如多数自然场景），4:2:0可视为无损。真正的无损是指编码过程中不引入量化误差。
误区二：混淆YUV与YCbCr。严格来说，YUV是模拟信号概念，YCbCr是数字信号概念。在数字视频编码中，我们使用的是YCbCr，但业界习惯统称YUV。H.264/H.265标准中明确使用YCbCr术语。
误区三：忽视色彩范围设置。编码器中的video_range参数（full/limited）若设置错误，会导致解码后画面发灰或对比度过强。H.264/H.265的VUI（视频可用性信息）中可携带色彩范围信息，但许多编码器默认不写入，需手动设置。
误区四：认为所有4:2:0采样点位置相同。MPEG-2和H.264/HEVC的4:2:0色度采样点位置存在差异（MPEG-2为居中，H.264/HEVC为左上角）。在转码或格式转换时，若未进行相位补偿，会导致色度偏移和边缘模糊。