4. 多媒体基础概念

在SA8155这类智能座舱与车载多媒体平台中，多媒体链路并不是“播放一个文件”这么简单。它通常横跨应用层、框架层、编解码硬件、显示合成硬件以及网络传输模块。理解视频编解码、容器格式、流媒体协议、显示管线与图形合成，是后续做音视频同步、性能调优、故障定位的基础。

一、核心原理：从码流到屏幕的五段链路

一段视频从源到屏幕，通常经历五个阶段：封装/解封装、解码、渲染与合成、显示时序控制、显示输出。容器负责“装”，编码负责“压”，协议负责“传”，显示管线负责“排”，合成负责“叠”。

• 视频编解码：H.264/AVC、H.265/HEVC、VP9、AV1是常见格式。编码器把YUV帧压缩为码流，解码器再还原为YUV/RGB帧。车载平台常用硬件编解码器以降低CPU占用与功耗。
• 容器格式：MP4、MKV、TS、WebM等负责组织视频轨、音频轨、字幕轨、时间戳与元数据。容器不等于编码格式，MP4里可以放H.264，也可以放H.265。
• 流媒体协议：HLS、DASH、RTSP、RTP/RTCP、SRT等解决“边下边播”和“弱网传输”。HLS/DASH基于HTTP分片，RTSP常用于低延迟摄像头与倒车影像。
• 显示管线：从Surface、Layer、BufferQueue到HWC（Hardware Composer）、Display Driver，最终送到DP/HDMI/MIPI-DSI接口。
• 图形合成：GPU合成与HWC硬件合成共同决定图层如何叠加、缩放、旋转、透明混合。

二、方法流程：一条典型播放链路的拆解

以SA8155平台播放一个H.265 MP4网络视频为例，典型流程如下：

1. 应用层通过MediaPlayer或ExoPlayer发起播放请求，传入URL。
2. 网络模块按HTTP Range或HLS/DASH分片拉取数据。
3. 解封装器解析MP4的moov、trak、stbl，提取视频轨与音频轨的sample与时间戳。
4. 视频码流送入硬件解码器（如Venus/VPU），输出YUV帧；音频送入音频DSP或软件解码。
5. 解码后的视频帧进入Surface，由BufferQueue管理，等待合成。
6. HWC决定哪些Layer由硬件叠加、哪些交给GPU合成，生成最终显示帧。
7. Display驱动按VSYNC节拍送出帧，完成显示。

这条链路中，任何一个环节的缓冲策略、时间戳处理或格式协商出错，都会表现为花屏、音画不同步、卡顿或黑屏。

三、显示管线与图形合成：Layer、HWC与VSYNC

Android显示系统中，每个窗口或视频层通常对应一个Layer。Layer包含Buffer、位置、缩放、Alpha、Z-order等属性。SurfaceFlinger负责收集Layer，并交给HWC决定合成策略。

• GPU合成：灵活，支持复杂效果，但消耗GPU带宽与功耗。
• HWC硬件合成：由显示控制器直接叠加Layer，功耗低、延迟小，适合视频层、状态栏、导航栏等固定图层。
• VSYNC：垂直同步信号，决定帧的提交与显示节拍。错过VSYNC会导致掉帧。
• Triple Buffer：通过多缓冲减少撕裂与卡顿，但会增加延迟。

在车载多屏场景中，SA8155可能同时驱动中控屏、仪表屏、副驾屏。不同屏幕的刷新率、分辨率、色彩空间不同，显示管线需要做独立的时序与合成配置。

四、案例与场景：倒车影像低延迟链路

倒车影像对延迟极其敏感，通常要求端到端延迟小于150ms。其链路与普通视频播放不同：摄像头通过MIPI CSI输入，经过ISP处理，直接进入显示合成，尽量绕过GPU与多余缓冲。

Camera Sensor → MIPI CSI → ISP → V4L2 Buffer → HWC Layer → Display
关键参数：
- 分辨率：1280x720 @ 30fps
- 格式：NV12
- 缓冲数：3
- 目标延迟：< 150ms

如果此处误用GPU合成或增加过多缓冲，延迟会迅速上升，影响驾驶安全。因此，倒车影像、环视、DMS等场景通常要求“短路径、少拷贝、硬件合成”。

五、常见误区与复盘