嵌入式GPU基础：GPU架构概述、嵌入式GPU特点与桌面GPU差异
在进入图像处理流水线实战之前，必须先建立对硬件执行底座的清晰认知。嵌入式GPU并非桌面GPU的“缩小版”，其设计哲学、资源预算与编程模型均有本质区别。本章将拆解GPU通用架构骨架，剖析Mali、Adreno、PowerVR三大嵌入式IP的微架构差异，并通过与桌面GPU的对比，明确在移动端做图像处理时的约束边界与优化方向。
2.1 GPU通用架构骨架：从执行单元到内存层次
所有现代GPU，无论面向桌面还是嵌入式，都遵循一个基本架构范式：由大量并行执行单元（Shader Core / CU / SM）组成计算阵列，配合固定功能单元（纹理单元、光栅化单元、输出合并单元）完成图形流水线，再通过层次化缓存与内存控制器连接外部存储。理解这个骨架是后续分析嵌入式GPU差异的前提。
核心原理：统一着色器架构与SIMT执行模型
自DirectX 10时代起，GPU全面转向统一着色器架构（Unified Shader Architecture），即顶点、几何、像素（片元）着色器共用同一组执行单元。这种设计提高了硬件利用率，但也意味着图像处理中的通用计算（GPGPU）可以直接调用这些单元。执行模型为SIMT（单指令多线程），以“线程束”（Warp，NVIDIA）或“线程组”（Wavefront，AMD）为单位调度，每个执行单元以锁步方式运行同一指令，但数据不同。
在嵌入式GPU中，这一模型被保留但做了精简。例如ARM Mali的Bifrost架构采用“矢量执行”方式，每个执行单元一次处理4个或8个分量（取决于配置），而桌面GPU通常为32个线程一组。这意味着在嵌入式GPU上编写图像处理kernel时，需要更关注向量化宽度，避免分支发散。
判断方法：识别GPU的硬件规格表
评估一款嵌入式GPU的计算能力，不能只看核心数或频率。需要关注以下关键参数：
- ALU数量与布局：Mali-G78有24个着色器核心，每个核心含2个执行引擎；Adreno 660有2个着色器处理器，每个含384个ALU。
- 纹理单元与填充率：决定纹理采样和像素输出的速度，直接影响图像滤波类算法的上限。
- 缓存层次：L1/L2缓存大小、是否支持coherent（一致性）操作，影响数据复用效率。
- 内存位宽与类型：LPDDR4X/5的位宽（如64-bit或128-bit）决定理论带宽上限。
| 参数项 | Mali-G78 MP24 | Adreno 660 | PowerVR BXS-4-64 |
|---|---|---|---|
| ALU总数 | 768 (24核×32) | 768 (2×384) | 256 (4核×64) |
| 最大频率 | 850 MHz | 840 MHz | 800 MHz |
| L2缓存 | 1.5 MB | 1.25 MB | 512 KB |
| 内存接口 | LPDDR5 64-bit | LPDDR5 128-bit | LPDDR4X 64-bit |
| API支持 | Vulkan 1.1, GLES 3.2 | Vulkan 1.1, GLES 3.2 | Vulkan 1.1, GLES 3.2 |
2.2 嵌入式GPU三大IP：Mali、Adreno、PowerVR的微架构差异
三大嵌入式GPU IP虽然都遵循统一着色器架构，但在具体微架构设计上各有侧重，直接影响图像处理代码的编写方式与性能表现。
核心原理：三种渲染路径的差异
ARM Mali（Bifrost/Valhall）采用“着色器核心+固定功能单元”的经典布局。每个着色器核心包含2个执行引擎，支持FP32/FP16混合精度。Mali的调度器以“quad”（2x2像素）为最小粒度，这意味着在像素着色器中，相邻像素的导数计算（如纹理LOD）是硬件支持的。对于图像处理，Mali的L2缓存是统一共享的，支持所有核心访问，适合需要数据共享的算法。
Qualcomm Adreno（FlexRender）采用“可配置Tile”架构。Adreno的独特之处在于其“FlexRender”技术，可以在立即模式和Tile模式之间动态切换。对于简单场景（如UI渲染），使用立即模式减少开销；对于复杂3D场景，自动切换到Tile模式。Adreno的ALU排列为“四路SIMD”结构，每个周期可处理4个FP32操作。其计算着色器（CS）路径经过特别优化，支持异步计算队列，可与图形队列并行执行。
Imagination PowerVR（TBDR）是延迟渲染的鼻祖。其核心优势在于硬件级别的Hidden Surface Removal（HSR），在像素着色器执行前就剔除被遮挡的片元，大幅减少过度绘制。PowerVR的USC（Universal Shading Cluster）采用多线程调度，每个USC可同时管理多个线程组。对于图像处理，PowerVR的带宽效率极高，因为HSR减少了不必要的内存读写。
判断方法：根据算法特征选择适配的GPU
- 数据密集型算法（如高斯模糊、双边滤波）：优先考虑Mali，其大L2缓存有利于数据复用。
- 混合图形+计算负载（如AR应用）：Adreno的异步计算队列能有效重叠图形与计算任务。
- 高分辨率渲染（如4K视频处理）：PowerVR的HSR能显著减少带宽消耗。
常见误区：盲目追求高ALU数量
很多开发者认为GPU核心数越多性能越好，但在嵌入式领域，功耗墙和带宽墙往往先于计算墙到达。Mali-G78 MP24的ALU数量是MP8的三倍，但实际图像处理性能提升可能只有1.5倍，因为带宽没有同步增长。正确做法是：先分析算法的算术强度（Arithmetic Intensity，FLOP/Byte），如果低于GPU的平衡点（通常嵌入式GPU为10-20 FLOP/Byte），则属于带宽受限，优化方向应转向数据复用和压缩。
2.3 嵌入式GPU与桌面GPU的差异：从架构到编程模型
理解嵌入式与桌面GPU的差异，是避免“把桌面代码直接搬到移动端”的关键。两者在渲染策略、内存模型、功耗约束、API支持四个维度存在系统性差异。
核心原理：Tile-Based延迟渲染 vs 立即模式渲染
桌面GPU（NVIDIA/AMD/Intel）采用立即模式渲染（Immediate Mode Rendering），每个图元生成后立即执行像素着色并写入帧缓冲。这种方式延迟低，但需要频繁访问显存，带宽消耗大。嵌入式GPU几乎全部采用Tile-Based Deferred Rendering（TBDR），将屏幕划分为多个Tile（通常16x16或32x32像素），先在片上（On-Chip）完成所有几何处理和像素着色，最后一次性将结果写回主存。这种设计将带宽消耗降低数倍，但引入了额外的“Tile切换”开销。
对于图像处理，TBDR意味着：如果算法需要访问邻域像素（如卷积），必须注意Tile边界的数据共享。在Mali上，可以通过“FrameBuffer Fetch”扩展（GL_EXT_shader_framebuffer_fetch）直接读取当前Tile内的像素，避免额外的纹理采样。
判断方法：识别代码中的带宽敏感点
| 维度 | 桌面GPU | 嵌入式GPU | 对图像处理的影响 |
|---|---|---|---|
| 内存带宽 | 400-1000 GB/s | 25-60 GB/s | 带宽受限算法需重设计 |
| 功耗预算 | 200-450W | 0.5-5W | 频率动态调整频繁 |
| 缓存一致性 | PCIe独立显存 | 共享LPDDR | CPU-GPU数据同步开销大 |
| API特性 | 完整OpenCL/CUDA | OpenCL子集/Vulkan | 部分内置函数不可用 |
| 精度支持 | FP64/FP32 | FP32/FP16为主 | FP16可提升2倍吞吐 |
案例拆解：将桌面端高斯模糊迁移到嵌入式GPU
背景与约束：某团队开发了一款实时视频美颜应用，最初在PC上使用OpenCL实现高斯模糊，效果良好。迁移到搭载Adreno 660的骁龙888平台后，帧率从60fps骤降至15fps。
初始现象：通过Snapdragon Profiler分析，发现GPU利用率仅40%，但内存带宽利用率高达95%。算法为带宽受限。
分析过程：桌面端代码使用全局内存直接读写，每次像素访问都触发一次内存事务。在PC上，400GB/s的带宽掩盖了低效访问模式；在移动端，25GB/s的带宽成为瓶颈。
实际操作：
- 将算法改为两遍分离卷积（先水平后垂直），利用行缓存减少重复读取。
- 使用Vulkan的local memory（共享内存）存储Tile数据，每个Tile 32x32像素。
- 采用FP16半精度计算，利用Adreno的FP16管线（吞吐翻倍）。
- 使用Vulkan的子资源（subresource）机制，避免CPU-GPU同步等待。
结果对比：优化后帧率恢复至55fps，带宽利用率降至70%，GPU利用率提升至65%。代价是代码复杂度增加，需要处理Tile边界和FP16精度损失（在边缘检测场景中可接受）。
复盘经验：迁移GPU代码时，第一优先级是分析算术强度，第二是检查数据访问模式，第三才是优化计算指令。嵌入式GPU的带宽是稀缺资源，一切设计都应围绕减少内存事务展开。
总结复盘：嵌入式GPU开发的三大铁律
- 带宽优先：任何图像处理算法，先计算理论带宽需求，再设计数据复用策略。
- Tile意识：利用TBDR特性，尽量在Tile内完成数据共享，避免跨Tile访问。
- 精度权衡：FP16是性能利器，但必须验证图像质量，必要时混合精度。