2、视频流基础：RTSP协议原理、视频编码格式（H.264/H.265）与封装格式（MP4/TS）的基本概念

在旭日视频流部署场景中，无论是接入IP摄像头、NVR还是视频文件，首先需要理解视频数据从采集端到推理端的完整链路。RTSP负责会话控制与传输协商，H.264/H.265负责压缩图像数据，而MP4/TS则决定数据如何被封装和存储。三者相互配合，构成了视频流接入、解码、抽帧和BPU推理的底层基础。本节将围绕这三层技术栈展开，重点厘清协议职责边界、编码格式差异以及封装格式对抽帧和推理的影响。

2.1 RTSP协议原理：从会话建立到媒体传输

核心原理：RTSP的角色定位

RTSP（Real Time Streaming Protocol，实时流协议）是一个应用层协议，负责控制多媒体流的建立、播放、暂停、录制和拆除等会话操作。它本身并不传输视频数据，而是通过协商RTP（Real-time Transport Protocol）的传输参数，将实际媒体数据交给RTP承载。RTSP的默认端口为554，其报文格式与HTTP类似，使用文本命令和响应码，但RTSP是有状态协议，服务器需要维护每个会话的状态信息。

一个典型的RTSP会话流程包含以下步骤：

1. OPTIONS：客户端向服务器查询可用方法。
2. DESCRIBE：客户端请求媒体描述信息，服务器返回SDP（Session Description Protocol）文本，其中包含媒体类型、编码格式、分辨率、帧率等关键参数。
3. SETUP：客户端根据SDP信息，请求建立RTP传输会话，指定传输端口和传输协议（UDP或TCP）。
4. PLAY：客户端发送播放请求，服务器开始通过RTP推送媒体数据。
5. TEARDOWN：会话结束，释放资源。

SDP：会话协商的核心载体

SDP是RTSP DESCRIBE响应中返回的文本描述，它决定了后续解码器的选择。以下是一个典型的SDP片段：

v=0
o=- 123456 2 IN IP4 192.168.1.100
s=Session streamed by Live555
t=0 0
m=video 0 RTP/AVP 96
c=IN IP4 0.0.0.0
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1; profile-level-id=42001F; sprop-parameter-sets=Z0IAH5WoFAFuQA==,aMqPjA==
a=control:track1

其中，m=video 0 RTP/AVP 96表示视频流使用动态Payload Type 96；rtpmap行声明编码格式为H.264，时钟频率90000Hz；fmtp行包含关键参数：profile-level-id表示编码档次和级别，sprop-parameter-sets携带H.264的SPS和PPS（以Base64编码），解码器必须首先解析这些参数才能正确初始化解码上下文。

RTP传输模式：UDP与TCP的选择

传输模式	优点	缺点	适用场景
UDP	低延迟、实时性好	丢包不可恢复、可能乱序	局域网内摄像头接入
TCP	可靠传输、无丢包	延迟较高、重传开销大	跨公网传输、弱网环境

2.2 视频编码格式：H.264与H.265的对比与选型

核心原理：从像素到码流的压缩逻辑

视频编码的核心目标是去除空间冗余（帧内预测）和时间冗余（帧间预测）。H.264（AVC）和H.265（HEVC）都采用混合编码框架，但H.265在H.264基础上引入了更灵活的编码树单元（CTU），支持从4x4到64x64的可变块划分，从而在相同画质下比H.264节省约30%-50%的码率。

对于旭日视频流部署而言，理解以下帧类型至关重要：

• I帧（关键帧/IDR）：可独立解码，不依赖其他帧。抽帧时若需要快速获取完整画面，应优先从I帧开始。
• P帧（预测帧）：参考前面的I帧或P帧，压缩率高，但不能独立解码。
• B帧（双向预测帧）：参考前后帧，压缩率最高，但引入额外延迟，且解码顺序与显示顺序不同。

判断方法：如何选择编码格式

在旭日平台（如地平线X3/X5）上，BPU（Brain Processing Unit）通常内置硬件解码器，支持H.264和H.265。选择编码格式时需考虑以下因素：

1. 摄像头支持情况：老旧IP摄像头可能只支持H.264，新设备通常两者都支持。
2. 带宽与存储：H.265码率更低，适合4K分辨率或窄带场景。
3. 解码资源消耗：H.265解码复杂度更高，虽然硬件解码器可处理，但若同时解码多路流，需确认芯片的解码能力上限。
4. 抽帧实时性：H.265的GOP通常更长（如4秒一个I帧），若需要快速随机访问，H.264可能更合适。

案例拆解：GOP长度对抽帧延迟的影响

假设某摄像头配置H.264编码，GOP=50帧（约2秒@25fps），码率4Mbps。当BPU需要从RTSP流中抽取一帧进行推理时，如果当前接收到的RTP包属于P帧，解码器必须等待前一个I帧到达才能开始解码。若网络抖动导致I帧丢失，解码器会持续报错，直到下一个I帧到来。

实际部署中，我们通过FFmpeg的ffprobe工具查看流信息：

ffprobe -v error -show_streams -select_streams v rtsp://192.168.1.64:554/stream1 | grep -E "codec_name|profile|level|width|height|avg_frame_rate"

输出示例：

codec_name=h264
profile=High
level=40
width=1920
height=1080
avg_frame_rate=25/1

根据输出，我们可以判断该流为H.264 High Profile Level 4.0，1080p@25fps。若推理任务对实时性要求高，建议在摄像头端将GOP调整为25-50帧，并开启sprop-parameter-sets的带内传输，确保解码器能快速初始化。

2.3 封装格式：MP4与TS的差异及对抽帧的影响

核心原理：封装格式的职责

封装格式（Container Format）负责将编码后的视频流（ES流）、音频流、字幕、元数据等组织成文件或网络流。它不关心压缩算法，只关心数据的存储结构和时间同步。MP4和TS是两种最常见的封装格式，分别面向存储和传输场景。

MP4格式基于ISO BMFF（Base Media File Format），由多个box组成：

• ftyp：文件类型和兼容性声明。
• moov：存储元数据（轨道信息、编码参数、时间戳索引），可位于文件头部或尾部。
• mdat：实际媒体数据。

MP4支持随机访问，因为moov中的sample table记录了每个帧的偏移量和时间戳。但若moov位于文件尾部（如录制中断时），播放器需要先下载整个文件才能定位到moov，导致无法流式播放。

TS格式（MPEG-2 Transport Stream）将数据封装为188字节的固定长度包，每个包包含4字节包头和184字节负载。TS流通过PAT（Program Association Table）和PMT（Program Map Table）描述节目信息，支持多路节目复用，且对丢包有较强容错能力，因此广泛用于数字电视和IP流媒体。

对比分析：MP4与TS的关键差异

维度	MP4	TS
设计目标	本地存储、编辑、随机访问	网络传输、广播、实时流
包结构	Box结构，长度可变	188字节固定包
容错性	差，损坏后难以恢复	强，可跳过损坏包
延迟	低（本地文件）	较高（需解析PSI表）
流式支持	需moov前置	天然支持
旭日部署场景	离线视频文件推理	RTSP网络流接入

实战场景：从RTSP流中抽帧的封装处理

在旭日平台上，通过FFmpeg从RTSP流中抽帧并送入BPU推理，典型的命令如下：

ffmpeg -rtsp_transport tcp -i rtsp://192.168.1.64:554/stream1 -vf "fps=1" -f rawvideo -pix_fmt nv12 pipe:1 | ./bp_inference

该命令将RTSP流解码后，以1fps的帧率输出NV12格式的原始视频帧，通过管道传递给BPU推理程序。这里的关键在于：FFmpeg内部完成了RTSP解封装（TS或RTP负载）→ 解码（H.264/H.265）→ 像素格式转换（NV12）→ 抽帧的全过程。

2.4 常见误区与总结复盘

误区一：混淆RTSP与RTP

很多初学者认为RTSP就是视频传输协议，实际上RTSP只负责会话控制，视频数据通过RTP承载。在抓包分析时，如果只过滤RTSP端口554，看不到任何视频数据；必须同时过滤RTP动态端口（通常为偶数端口）才能看到媒体流。

误区二：忽略SDP中的参数集

H.264的SPS/PPS和H.265的VPS/SPS/PPS是解码器初始化的必要条件。如果从RTSP流中直接提取裸流（如通过ffmpeg -i rtsp://... -c copy out.h264），得到的文件可能缺少参数集，导致后续解码失败。建议使用-bsf:v h264_mp4toannexb转换比特流格式，确保参数集以带内方式传输。

误区三：认为H.265一定优于H.264

H.265虽然压缩率更高，但解码复杂度也更高。在旭日X3开发板上，硬件解码器支持H.265 4K@60fps，但若同时运行多个推理模型，BPU和编解码器共享内存带宽，可能成为瓶颈。建议根据实际帧率和分辨率测试CPU占用率，避免盲目追求高压缩率。

总结复盘

本节梳理了视频流接入的三层技术栈：RTSP负责会话协商，编码格式决定压缩效率和解码复杂度，封装格式影响数据的组织方式。在实际部署中，建议遵循以下原则：

• 优先使用TCP传输RTSP，避免UDP丢包导致的解码异常。
• 通过SDP中的rtpmap和fmtp参数确认编码格式和参数集，再初始化解码器。
• 抽帧时直接从解码后的原始帧（NV12/RGB）操作，避免经过MP4封装再解封装。
• 若需保存视频片段，使用TS格式而非MP4，确保录制中断时文件仍可播放。