2. 无人机视频系统基础
要理解 RTSP 低延迟视频传输，必须先回到视频产生的源头：无人机上的摄像头如何成像、图像如何被采集为数字视频、视频如何被压缩编码，以及编码后的数据如何经过图传链路到达地面。只有把这条“从光到包”的路径看清楚，才能判断延迟究竟产生在哪一环，也才能有针对性地优化。
一、无人机摄像头类型
无人机摄像头按成像器件与用途，大致可分为以下几类：
- CMOS 可见光摄像头：最常见，成本低、帧率高，适合白天航拍与实时图传。主流为 1/2.3" 至 1" 传感器，输出 1080p60 或 4K30。
- 全局快门与卷帘快门：卷帘快门逐行曝光，高速运动时会产生“果冻效应”；全局快门整帧同时曝光，适合测绘、避障与高速飞行场景。
- 红外/热成像摄像头：用于夜间巡检、电力巡线、搜救，常见分辨率 640×512，输出伪彩或灰度视频。
- 多光谱/变焦云台相机：集成可见光与多光谱通道，或带光学变焦，常用于农业与测绘。
- 双目/深度摄像头：用于避障与三维感知，输出深度图与 RGB 图，数据量更大。
不同摄像头决定了原始视频的分辨率、帧率、色彩格式与数据量，也直接影响后续编码与传输的压力。
二、视频采集原理
摄像头成像的核心是“光电转换—模拟增益—模数转换—图像处理”四步。光线经镜头聚焦到传感器像素阵列，光子转换为电荷，经读出电路形成模拟电压，再由 ADC 转为数字信号。随后 ISP（图像信号处理器）完成去马赛克、白平衡、伽马校正、降噪与锐化，最终输出 YUV 或 RGB 数据。
采集环节的关键参数包括：
- 分辨率：1920×1080、3840×2160 等，决定单帧像素量。
- 帧率：25/30/60 fps，帧率越高运动越流畅，但码率与功耗上升。
- 像素格式：YUV420 最常用，相比 RGB 节省约一半带宽。
- 曝光与增益：影响亮度与噪点，弱光下高增益会显著增加编码码率。
三、编码格式：H.264 与 H.265
视频编码通过去除空间冗余、时间冗余与视觉冗余来压缩数据。H.264（AVC）与 H.265（HEVC）是无人机图传最常用的两种标准。
H.264 将画面划分为宏块（16×16），采用帧内预测、帧间运动补偿、DCT 变换、量化与熵编码。H.265 将编码单元扩展为 CTU（最大 64×64），支持更灵活的划分与更精细的预测，同画质下码率约降低 40%～50%。
| 对比项 | H.264 (AVC) | H.265 (HEVC) |
|---|---|---|
| 编码单元 | 宏块 16×16 | CTU 最大 64×64 |
| 同画质码率 | 基准 | 降低约 40%～50% |
| 计算复杂度 | 较低 | 较高，约 2～3 倍 |
| 硬件兼容性 | 极广 | 较广，老设备可能不支持 |
| 典型无人机码率 | 1080p30 约 4～8 Mbps | 1080p30 约 2～4 Mbps |
| 延迟表现 | 低，成熟 | 略高，取决于实现 |
编码器通常提供 ultrafast、veryfast、medium 等预设。低延迟场景应优先选择低延迟预设并关闭 B 帧，例如：
ffmpeg -f v4l2 -i /dev/video0 \
-c:v libx264 -preset ultrafast -tune zerolatency \
-profile:v baseline -bf 0 -g 30 -b:v 4M \
-f rtsp rtsp://192.168.1.10:8554/live其中 -tune zerolatency 关闭编码器内部缓冲，-bf 0 禁用 B 帧，-g 30 设置 1 秒一个关键帧，兼顾抗丢包与延迟。
四、传输链路组成
无人机视频从摄像头到地面显示，通常经过以下链路：
- 摄像头/传感器：输出原始或压缩视频流。
- ISP 与编码模块：完成图像处理与 H.264/H.265 编码。
- 图传发射机：将码流封装为 RTP/UDP 或私有协议，经射频发送。
- 无线信道：2.4 GHz / 5.8 GHz / 4G / 5G，受距离、干扰与遮挡影响。
- 地面接收机：解调、纠错、重组码流。
- RTSP 服务端：将码流以 RTSP/RTP 对外提供。
- 播放/分析客户端：VLC、FFmpeg、Web 播放器或 AI 推理端。
五、典型场景与延迟分布
以 1080p30、H.264、4 Mbps 的巡检无人机为例，端到端延迟大致分布如下：采集与 ISP 约 20～40 ms，编码约 30～60 ms，图传与网络约 50～150 ms，解码约 20～40 ms，渲染约 10～30 ms。可见编码与网络是延迟的主要来源。
六、常见误区与复盘
- 误区一：分辨率越高越好。 4K 会显著增加编码与传输压力，低延迟场景 1080p 往往更稳。
- 误区二：只看平均延迟。 抖动与卡顿比平均延迟更影响体验，应关注 P95/P99 延迟。
- 误区三：忽略关键帧间隔。 GOP 过长会导致丢包后恢复慢，过短则码率上升。
- 误区四：编码参数照搬录像配置。 录像追求画质，图传追求低延迟，两者预设应分开。
掌握摄像头类型、采集原理、H.264/H.265 编码差异与传输链路组成，是后续配置 RTSP 低延迟传输、优化码率与缓冲策略的基础。只有把每一环的职责与代价弄清楚，才能在实际部署中做出正确的取舍。