2. 端侧AI基础

端侧AI（On-Device AI）是边缘计算在智能终端侧的深度延伸。理解两者的关系，是进行模型调试与性能剖析的前提。边缘计算强调“算力下沉”，将数据处理从中心云迁移到网络边缘节点；而端侧AI则更进一步，将推理计算直接嵌入到手机、IoT设备、MCU等终端硬件内部。这种架构的根本转变，带来了延迟、隐私、带宽和可靠性四个维度的质变。本章将系统梳理边缘计算与端侧AI的层级关系，剖析典型端侧硬件平台（CPU、GPU、NPU、DSP、MCU）的架构差异与适用场景，并建立一套可量化的性能指标体系，为后续章节的模型调试与优化奠定基础。

上图展示了从中心云到端侧设备的完整计算层级，以及端侧AI所依赖的异构硬件平台。在实际工程中，模型调试的第一步就是明确目标硬件平台及其能力边界。下面我们将从边缘计算与端侧AI的关系出发，逐一剖析各硬件平台的架构特点与性能指标。

2.1 边缘计算与端侧AI的层级关系与协同模式

核心原理：边缘计算是一个广义概念，涵盖从靠近数据源的边缘节点到终端设备的所有计算形态。端侧AI是边缘计算的最末端，也是最贴近用户的一环。两者的核心区别在于：边缘节点通常具备较强的通用计算能力（如x86服务器或Jetson系列），而端侧设备受限于功耗、体积和成本，必须依赖异构计算单元（NPU、DSP等）来高效执行AI推理。

协同模式判断方法：在工程实践中，我们需要根据任务特性决定计算任务的分配。以下是一个实用的判断流程：

1. 实时性要求：若推理延迟要求小于10ms（如自动驾驶、工业质检），必须采用端侧推理；若允许100ms以上延迟，可考虑边缘节点。
2. 数据隐私性：涉及人脸、医疗影像等敏感数据，优先端侧处理，避免原始数据上传。
3. 网络稳定性：在弱网或离线环境下，必须依赖端侧AI的本地推理能力。
4. 模型复杂度：若模型参数量超过100MB且算力需求极高，可考虑端侧-边缘协同（如端侧预处理+边缘主推理）。

维度	边缘计算	端侧AI
典型硬件	边缘服务器、Jetson、Raspberry Pi	手机SoC、MCU、智能摄像头
算力范围	1-100 TOPS	0.1-30 TOPS
功耗预算	5W-100W	0.1mW-5W
操作系统	Linux、Ubuntu	Android、RTOS、裸机
模型精度	支持FP32/FP16	以INT8/INT4为主

2.2 典型端侧硬件平台架构解析

核心原理：现代端侧AI系统普遍采用异构计算架构（Heterogeneous Computing），即在一个SoC内集成多种计算单元，各司其职。理解这些单元的架构差异，是进行性能剖析的基础。

2.2.1 CPU（中央处理器）

CPU是端侧设备的“总指挥”，擅长处理逻辑分支、控制流和稀疏计算。在AI推理中，CPU通常负责数据预处理、模型调度和部分小模型的推理。ARM Cortex-A系列（如A78、X1）和高通Kryo是手机端的主流选择。CPU的性能指标主要看单核性能（影响串行任务）和多核并行效率（影响数据并行）。

2.2.2 GPU（图形处理器）

GPU最初为图形渲染设计，其SIMT（单指令多线程）架构天然适合矩阵运算。在端侧AI中，GPU常用于中大规模模型的推理加速，尤其是需要高吞吐量的场景（如视频超分）。Adreno（高通）和Mali（ARM）是两大主流系列。GPU的调试重点在于内存带宽利用率和线程调度开销。

2.2.3 NPU（神经网络处理器）

NPU是专门为AI推理设计的ASIC芯片，采用脉动阵列（Systolic Array）或近存计算架构，对卷积、矩阵乘等算子进行了极致优化。NPU的算力通常以TOPS（每秒万亿次操作）衡量，但实际性能受限于算子支持度和数据搬运效率。例如，高通Hexagon Tensor Accelerator和华为达芬奇架构都是典型的NPU实现。

2.2.4 DSP（数字信号处理器）

DSP擅长处理信号处理类算法（FFT、滤波）和低功耗的连续感知任务。在AI场景中，DSP常用于语音唤醒、传感器数据处理等轻量级任务。DSP的优势在于极低的功耗（通常<10mW），但编程模型较为特殊，通常需要手写汇编或使用专用SDK。

2.2.5 MCU（微控制器）

MCU是端侧AI的“轻量级选手”，集成CPU核心、Flash和RAM于单芯片。Cortex-M系列（M4、M7、M33）是主流，配合CMSIS-NN软件库可实现简单的AI推理。MCU的AI应用场景包括TinyML（如关键词唤醒、异常检测），其性能瓶颈在于内存容量（通常<1MB）和算力（通常<1 GOPS）。

硬件平台	典型算力	功耗范围	适用模型	开发工具链
CPU	10-50 GOPS	0.5-3W	小模型、预处理	ONNX Runtime, TFLite
GPU	0.5-2 TOPS	1-5W	中大型CNN	OpenCL, Vulkan
NPU	2-30 TOPS	0.5-4W	主流CNN/Transformer	SNPE, NNAPI, TFLite Delegate
DSP	0.1-1 TOPS	0.01-0.1W	语音/传感器	Hexagon SDK, CEVA
MCU	0.01-0.1 GOPS	0.001-0.01W	TinyML模型	CMSIS-NN, TFLite Micro

2.3 端侧AI性能指标体系与测量方法

核心原理：性能指标是衡量端侧AI系统优劣的“标尺”。一个完整的指标体系应覆盖延迟、吞吐量、功耗、内存、精度五个维度。在工程实践中，我们需要根据应用场景确定指标的优先级。

测量方法操作流程：

1. 环境准备：关闭后台应用，固定屏幕亮度，使用外部电源供电，确保测试环境一致性。
2. 延迟测量：使用Perfetto或自定义计时函数，记录从输入到输出的端到端延迟，至少运行100次，统计P50/P95/P99。
3. 吞吐量测量：连续运行推理任务，计算每秒处理的帧数（FPS）或样本数（IPS）。
4. 功耗测量：使用Monsoon Power Monitor或高通QPM，测量平均功耗和峰值功耗。
5. 内存测量：通过/proc/meminfo或Android Studio Profiler，记录模型加载后的内存增量和推理时的峰值内存。
6. 精度验证：使用验证集对比INT8模型与FP32模型的精度差异，记录mAP或Top-1准确率变化。

指标类别	具体指标	测量工具	优化目标
延迟	P50/P95/P99延迟	Perfetto, 自定义计时	P95 < 50ms
吞吐量	FPS / IPS	FPS计数器	实时场景 > 30 FPS
功耗	平均功耗 / 峰值功耗	Monsoon, QPM	平均功耗 < 1.5W
内存	模型大小 / 运行时峰值	Memory Profiler	峰值 < 300MB
精度	mAP / Top-1 / 混淆矩阵	验证脚本	精度损失 < 2%