H265编码核心概念回顾：NAL单元、参考帧、GOP结构、Slice/Tile划分
做丢包恢复，说白了你得先知道H265里哪些东西容易丢、丢了会怎样。我见过不少团队，一上来就写FEC逻辑，结果连NAL单元类型都没搞清楚——那方案能靠谱才怪。这一章咱们把几个核心概念过一遍，都是后面实战的基石。
1. NAL单元：H265的“数据包”
H265的码流，本质上就是一串NAL单元（Network Abstraction Layer Unit）。每个NAL单元就是一个独立的数据包，里面要么是编码参数（SPS/PPS/VPS），要么是真正的图像数据。
关键认知：丢包恢复的本质，就是处理NAL单元丢失后的后果。不同类型的NAL单元，丢失后的影响天差地别。
NAL单元头部占2个字节，结构如下：
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F | NRI | Type (5 bits) | Layer ID (6 bits) | TID (3 bits) |这里我重点说一下Type字段。H265的NAL类型比H264多了不少，我整理了一张常用类型表：
| Type值 | 缩写 | 含义 | 丢包影响 |
|---|---|---|---|
| 0-9 | VPS/SPS/PPS | 视频参数集、序列参数集、图像参数集 | 致命：整个码流无法解码 |
| 16-21 | IDR/BLA/CRA | 关键帧（随机访问点） | 严重：后续帧全部依赖它 |
| 22-31 | TSA/STSA | 时域层切换点 | 中等：影响特定时域层 |
| 32-39 | RADL/RASL | 随机访问前导帧 | 较低：可丢弃不影响后续 |
| 40-48 | VCL | 普通编码帧（P/B帧） | 视参考链而定 |
我的经验：做丢包恢复时，我习惯把VPS/SPS/PPS单独走一个高优先级通道，或者用FEC保护。曾经有个项目，就因为SPS丢了，整个会议黑屏了30秒——嗯，那之后我再也不敢把参数集和普通数据混在一起传了。
2. 参考帧：解码的“依赖链”
H265之所以压缩率高，靠的就是帧间预测——用已经解码的帧来预测当前帧。这些被依赖的帧，就叫参考帧。
参考帧的管理机制，我画了个图帮你理解：
避坑指南：我曾经在一个直播项目中，为了降低延迟把参考帧数量设成了1。结果网络一抖动，丢一个包就导致连续5秒花屏。后来我学乖了——参考帧数量至少设2个，给解码器留点“容错空间”。
3. GOP结构：丢包影响的“范围圈”
GOP（Group of Pictures）就是一组连续的画面，从IDR帧开始，到下一个IDR帧之前结束。GOP结构直接决定了丢包的影响范围。
常见的GOP结构有几种：
- 全I帧（GOP=1）：每帧都是IDR，抗丢包最强，但码率爆炸。适合关键场景。
- IPPP（GOP=30）：一个IDR后面跟29个P帧。丢一个P帧，后面全完。
- IBBP（GOP=30）：B帧可以双向参考，压缩率更高，但参考链更复杂。
- 分层GOP：按时域分层，低层帧参考高层帧。丢包可以部分恢复。
| GOP类型 | 压缩率 | 抗丢包能力 | 适用场景 |
|---|---|---|---|
| 全I帧 | 低（1x） | 极强 | 医疗影像、工业控制 |
| IPPP | 中（3-5x） | 弱 | 低延迟直播 |
| IBBP | 高（5-10x） | 较弱 | 点播、短视频 |
| 分层GOP | 中高（4-8x） | 中等 | 自适应码率流 |
我的建议：做丢包恢复方案时，先问清楚GOP长度。如果对方说“GOP=250”，那你得做好心理准备——丢一个P帧，后面8秒的画面都可能出问题。我一般建议GOP不超过60帧（2秒），这样丢包恢复的代价可控。
4. Slice/Tile划分：并行与容错的“手术刀”
H265引入了更灵活的划分方式。Slice和Tile，虽然都是把一帧图像切成小块，但目的完全不同。
Slice：按行划分，每个Slice可以独立解码。主要用于：
- 并行编码/解码
- 错误隔离（一个Slice坏了，不影响其他Slice）
- 低延迟（Slice越小，延迟越低）
Tile：按网格划分，每个Tile是矩形区域。主要用于：
- ROI编码（重点区域高码率）
- 全景视频（每个Tile独立编码）
- 并行处理（Tile之间无依赖）
核心区别：Slice之间可以有参考关系（比如跨Slice的帧间预测），但Tile之间完全独立——这意味着Tile天然适合做丢包恢复的“基本单元”。
我画个图对比一下：
注意：Tile虽然独立，但H265的Tile划分会增加码流开销（大约5-10%）。我见过有人为了丢包恢复把一帧切成32个Tile，结果码率飙升了30%——得不偿失。一般建议4-8个Tile就够用了。
5. 这些概念如何指导丢包恢复？
好了，四个概念都过了一遍。你可能会问：这些跟丢包恢复到底有什么关系？
我直接给你总结成几条原则：
- NAL类型决定优先级：VPS/SPS/PPS > IDR > P帧 > B帧。丢包恢复资源优先给高优先级NAL。
- 参考帧决定恢复策略：如果丢的是参考帧，光重传不够，还得发关键帧刷新。
- GOP长度决定恢复窗口：GOP越长，丢包影响越大，需要更频繁的关键帧请求。
- Tile划分提供细粒度恢复：丢一个Tile，只影响画面局部，可以用帧拷贝或错误隐藏。
一句话总结：丢包恢复不是“丢了就重传”那么简单。你得知道丢的是什么、影响多大、怎么补最划算。这些概念，就是你做决策的依据。