2. 基础概念：视频流基础与Camera传感器基础
在构建多Camera流媒体系统之前，必须牢固掌握视频流与传感器的基础概念。本章将拆解帧率、分辨率、码率、编码格式以及CMOS传感器与快门机制，为后续的工程配置与架构设计奠定理论基础。
2.1 视频流核心参数
视频流本质上是连续图像的压缩传输。三个核心参数——帧率、分辨率、码率——共同决定了视频的质量、带宽占用与存储成本。
2.1.1 帧率 (Frame Rate)
帧率表示每秒显示的图像帧数，单位fps (frames per second)。帧率越高，运动画面越流畅，但数据量也越大。
- 24 fps：电影行业标准，提供“胶片感”，适合影视内容。
- 30 fps：广播电视与网络直播常用，兼顾流畅度与带宽。
- 60 fps：体育赛事、游戏直播、高速运动场景，画面极其顺滑。
- 120 fps及以上：慢动作回放、专业高速摄影。
工程提示： 在多Camera架构中，所有Camera的帧率必须同步，否则会导致音画不同步或多路拼接时出现“撕裂”现象。通常使用PTP (Precision Time Protocol) 或硬件同步信号实现帧级对齐。
2.1.2 分辨率 (Resolution)
分辨率指视频每一帧的像素数量，通常表示为宽×高。分辨率越高，图像细节越丰富，但处理与传输压力也越大。
| 分辨率名称 | 像素尺寸 | 典型应用场景 |
|---|---|---|
| 720p (HD) | 1280 × 720 | 低带宽直播、监控预览 |
| 1080p (Full HD) | 1920 × 1080 | 主流直播、视频会议 |
| 4K (UHD) | 3840 × 2160 | 高端直播、医疗影像、工业检测 |
| 8K (UHD-2) | 7680 × 4320 | 专业影视、VR/AR、超高清监控 |
2.1.3 码率 (Bitrate)
码率表示每秒传输的视频数据量，单位bps (bits per second)。码率直接决定视频的压缩质量与文件大小。
- 固定码率 (CBR)：码率恒定，适合网络带宽稳定的场景，但复杂画面可能质量下降。
- 可变码率 (VBR)：码率随画面复杂度动态变化，质量更稳定，但带宽波动大。
- 平均码率 (ABR)：在VBR基础上控制平均码率，兼顾质量与带宽。
码率估算公式：
例如：1080p @ 30fps，H.264编码，典型码率约为 4~8 Mbps。
码率 (bps) = 分辨率宽度 × 分辨率高度 × 帧率 × 色彩深度 × 压缩比例如：1080p @ 30fps，H.264编码，典型码率约为 4~8 Mbps。
2.1.4 编码格式：H.264 vs H.265
编码格式决定了视频压缩效率与计算复杂度。H.264 (AVC) 是目前最广泛使用的标准，而H.265 (HEVC) 是新一代高效编码标准。
| 对比维度 | H.264 (AVC) | H.265 (HEVC) |
|---|---|---|
| 压缩效率 | 基准 | 比H.264提升约50% |
| 同等质量码率 | 较高 | 较低（节省带宽与存储） |
| 计算复杂度 | 较低 | 较高（需要更强的硬件编码器） |
| 专利授权 | 成熟，专利池复杂 | 专利授权费用较高 |
| 硬件支持 | 几乎所有设备支持 | 较新设备支持，嵌入式需确认 |
| 典型应用 | 直播、视频会议、监控 | 4K/8K流媒体、VR、高端监控 |
架构选型警告： 在多Camera嵌入式系统中，如果选择H.265编码，务必确认SoC或FPGA是否集成硬件H.265编码器。纯软件编码H.265会严重消耗CPU资源，导致帧率下降或系统过热。
2.2 Camera传感器基础
Camera传感器是视频流的源头。理解传感器类型与快门机制，对于配置Camera参数、避免运动伪影、实现多Camera同步至关重要。
2.2.1 CMOS传感器
CMOS (Complementary Metal-Oxide-Semiconductor) 是目前主流的图像传感器技术。每个像素单元都包含光电转换与放大电路，支持高速读取、低功耗、高集成度。
- 优势： 读取速度快、功耗低、成本低、支持高分辨率。
- 劣势： 噪声相对CCD略高，但现代CMOS已大幅改善。
- 应用： 手机摄像头、网络摄像头、工业相机、安防监控。
2.2.2 全局快门 vs 卷帘快门
快门机制决定了传感器如何曝光并读取像素数据，直接影响运动场景的成像效果。
| 对比维度 | 全局快门 (Global Shutter) | 卷帘快门 (Rolling Shutter) |
|---|---|---|
| 曝光方式 | 所有像素同时曝光 | 逐行扫描曝光（从上到下） |
| 运动伪影 | 无“果冻效应”，适合高速运动 | 存在“果冻效应”，快速移动物体变形 |
| 帧率 | 受限于全局复位时间，帧率较低 | 帧率较高，适合高帧率拍摄 |
| 噪声 | 读出噪声略高 | 读出噪声较低 |
| 成本 | 较高 | 较低 |
| 典型应用 | 工业检测、高速摄影、AR/VR | 消费级相机、手机、监控 |
工程案例： 在机器人视觉SLAM系统中，如果使用卷帘快门Camera，快速旋转时地图点会出现“果冻效应”扭曲，导致定位失败。解决方案：① 使用全局快门Camera；② 在软件中做卷帘快门校正，但会增加延迟。
2.3 多Camera架构中的参数匹配
在多Camera系统中，所有Camera的帧率、分辨率、编码格式、快门类型必须协调一致，否则会导致数据流不同步、拼接错位、处理负载不均等问题。
2.3.1 参数匹配清单
- 帧率同步： 所有Camera必须使用同一时钟源，帧率严格一致（如30fps）。
- 分辨率统一： 多路拼接时，各Camera分辨率必须相同，否则需要缩放对齐。
- 编码格式一致： 避免混合H.264与H.265，增加解码复杂度。
- 快门类型选择： 高速运动场景优先全局快门；静态或慢速场景可选用卷帘快门降低成本。
架构建议： 在嵌入式多Camera系统中，推荐使用全局快门CMOS传感器 + H.265硬件编码 + 固定帧率30fps + 1080p分辨率。这是当前性价比最高的工程组合，兼顾画质、带宽与实时性。
2.4 本章小结
- 视频流三要素：帧率决定流畅度，分辨率决定细节，码率决定带宽与质量。
- 编码格式选择：H.264兼容性好，H.265压缩率高但需要硬件支持。
- CMOS传感器是主流，全局快门适合高速运动与多Camera同步，卷帘快门成本低但存在果冻效应。
- 多Camera架构必须统一帧率、分辨率、编码格式与快门类型，才能实现可靠的数据流同步。