2. Snapdragon多媒体硬件架构解析
要理解 Snapdragon 平台上的多媒体性能，不能只盯着某一个处理单元。真实终端里，一帧画面从摄像头 Sensor 到屏幕像素、一段音频从麦克风到扬声器，往往要穿过 CPU、GPU、DSP、ISP、VPU、DPU 以及共享内存子系统。本节把这些单元放回同一条数据通路中，说明它们各自负责什么、如何协作，以及性能瓶颈通常出现在哪里。
一、各处理单元在多媒体链路中的角色
CPU（Kryo/ARM 核心）是控制中枢。它不擅长逐像素处理，但负责调度、参数配置、状态机管理、格式协商和异常处理。例如相机启动时，CPU 通过 Camera HAL 下发流配置，建立 ISP、VPU、DPU 之间的 Buffer 队列；播放视频时，CPU 解析容器、管理音视频同步、驱动 MediaCodec 生命周期。CPU 的负载特征是多分支、低并行、对延迟敏感。
GPU（Adreno）承担图形渲染与通用并行计算。在多媒体场景中，它负责 UI 合成、游戏渲染、OpenCL/Vulkan 计算，以及部分图像后处理（如滤镜、缩放、色彩空间转换）。GPU 的优势是高吞吐浮点与纹理操作，但功耗和调度延迟高于专用硬件。
DSP（Hexagon）是低功耗信号处理核心，包含标量、向量（HVX）和张量（HTA）单元。音频编解码、回声消除、语音唤醒、部分 AI 推理都跑在 DSP 上。它的关键价值是“常开低功耗”：语音唤醒可以在 CPU 休眠时由 DSP 持续监听。
ISP（Spectra）处理摄像头原始数据。Bayer RAW 进入 ISP 后，依次完成黑电平校正、去马赛克、白平衡、色彩校正、Gamma、降噪和锐化，输出 YUV 或 RGB。ISP 是硬实时流水线，参数由 3A（AE/AF/AWB）算法动态调整。
VPU（视频处理单元）负责视频编解码，支持 H.264/H.265/VP9/AV1 等格式的硬件加速。它独立于 CPU 和 GPU，能同时处理多路 4K 流。VPU 关注码率、帧率、参考帧管理和码流缓冲。
DPU（显示处理单元）负责图层合成、缩放、旋转、色彩管理和显示时序输出。它把多个图层（视频层、UI 层、光标层）合成后送往 MIPI DSI 或 DP 接口。DPU 决定显示延迟和刷新同步。
二、内存子系统：真正的共享瓶颈
上述单元几乎都通过系统内存交换数据。Snapdragon 采用多级内存结构：CPU 有 L1/L2/L3 缓存，GPU 有片上缓存，DSP 有 TCM，ISP/VPU/DPU 通常使用系统 DRAM 加内部行缓冲。多媒体数据量大，例如 4K@60fps 的 NV12 帧约 12MB，每秒 60 帧就是 720MB/s 的读写量；若同时录像、预览、显示，带宽需求会叠加。
因此，零拷贝（Zero-Copy）和 Buffer 共享是核心设计原则。Android 上通过 Gralloc 分配图形缓冲区，用 ION/DMA-BUF 在 ISP、VPU、GPU、DPU 之间传递文件描述符，避免内存复制。典型链路是：Camera → ISP → DMA-BUF → VPU 编码 → DMA-BUF → DPU 显示。任何一次多余的 memcpy 都会增加延迟和功耗。
三、多媒体数据通路全景
下面这张图把摄像头、音频、显示三条主要通路与各处理单元、内存子系统的关系画在一起。注意箭头方向表示数据流，虚线表示控制/配置流。
四、典型场景下的通路组合与瓶颈判断
场景一：4K 录像 + 预览。Sensor 输出 RAW → ISP 处理 → 一路送 VPU 编码写文件，一路送 DPU 显示预览。此时内存带宽被 ISP 写、VPU 读、VPU 写、DPU 读同时占用。若 VPU 编码器输入格式与 ISP 输出不一致，CPU 可能被拉来做色彩空间转换，导致掉帧。正确做法是让 ISP 直接输出编码器支持的 NV12，并通过 DMA-BUF 共享。
场景二：视频通话。摄像头 → ISP → GPU 做美颜/缩放 → VPU 编码 → 网络；同时网络 → VPU 解码 → DPU 显示。GPU 参与后处理会增加功耗，若美颜算法可迁移到 DSP 或 ISP 的硬件模块，能显著降低功耗。
场景三：语音唤醒。麦克风 → DSP 常开监听 → 检测到关键词后唤醒 CPU。CPU 全程休眠，只有 DSP 和少量内存在工作。这是 DSP 低功耗价值的典型体现。
五、性能观察与调优切入点
实际调试时，可以按以下顺序定位：
- 先看带宽：用 Snapdragon Profiler 或 Perfetto 观察 DDR 带宽、各单元占用率。若带宽接近上限，优先减少拷贝和格式转换。
- 再看流水线是否断流：检查 ISP、VPU、DPU 的 Buffer 队列深度。队列过浅会导致等待，过深会增加延迟。
- 然后看 CPU 是否越权：如果 CPU 在逐帧处理像素或做格式转换，说明专用硬件没有被正确使用。
- 最后看同步机制：音视频同步、显示 VSync、编码时间戳是否对齐。同步错误会表现为卡顿或音画不同步，而非单纯性能不足。