3、端侧AI基础概念：模型推理、算子、量化、内存占用、延迟、吞吐量等关键术语

在深入STM32H7的端侧AI性能基准测试之前，必须先建立一套统一的术语体系。端侧AI与云端AI最大的差异在于资源边界：云端拥有近乎无限的算力、内存和电源，而端侧MCU（如STM32H7）必须在数百MHz的主频、数百KB的RAM和严格的功耗预算内完成推理任务。本章将系统梳理模型推理、算子、量化、内存占用、延迟、吞吐量等核心概念，并明确它们在STM32H7平台上的具体含义与测量口径。这些术语不仅是后续基准测试的度量基础，更是验收模型能否在目标硬件上落地的关键判据。

上图展示了端侧AI性能评估的核心概念链路。模型推理是最终目标，算子构成推理的基本计算单元，量化改变数据表示方式进而影响内存与延迟，而延迟和吞吐量则是从不同维度衡量推理效率的指标。在STM32H7上，这些概念相互耦合：量化不仅减小内存占用，还可能引入精度损失；延迟受算子实现效率影响，而吞吐量则与批处理策略和RTOS调度密切相关。理解这些关系是设计基准测试方案的前提。

3.1 模型推理与算子：从计算图到硬件指令

核心原理

模型推理（Inference）是指将训练好的神经网络模型应用于新数据，执行前向传播计算得到输出结果的过程。在STM32H7上，推理过程本质上是将模型的计算图（Computational Graph）映射为MCU上可执行的指令序列。计算图中的每个节点称为算子（Operator），例如卷积（Conv2D）、全连接（Fully Connected）、激活函数（ReLU）、池化（Pooling）等。一个典型的图像分类模型可能包含数十个算子，每个算子对应一组数学运算。

在端侧部署中，算子实现方式直接决定推理效率。STM32H7采用Cortex-M7内核，支持SIMD（单指令多数据）指令集和可选的DSP扩展。CMSIS-NN软件库针对这些硬件特性对常见算子进行了深度优化，例如使用4x4矩阵乘法加速卷积、利用饱和运算指令处理激活函数。算子融合（Operator Fusion）是另一种关键优化手段，它将多个连续算子合并为一个复合算子，减少中间张量的内存读写次数。例如，将卷积、批归一化（BatchNorm）和ReLU融合为一个算子，可显著降低内存带宽压力。

判断方法或操作流程

在基准测试中，评估算子效率需要关注以下步骤：

1. 算子分解：使用STM32Cube.AI或TensorFlow Lite for Microcontrollers的模型分析工具，将模型拆解为算子列表，并获取每个算子的参数量、计算量（MACs）和内存需求。
2. 算子耗时测量：在STM32H7上逐层运行模型，通过DWT（Data Watchpoint and Trace）计数器或SysTick定时器记录每个算子的执行时间。注意需要关闭编译器优化干扰，并确保缓存状态一致。
3. 瓶颈识别：计算各算子耗时占比，通常卷积类算子占据60%-80%的推理时间。若某个算子耗时异常，需检查其实现是否调用了CMSIS-NN优化函数，或者是否存在数据对齐问题。

案例拆解

假设我们有一个MobileNetV1模型（alpha=0.25），输入为32x32x3的RGB图像，部署在STM32H743上。初始测量显示总推理时间为85ms，其中深度可分离卷积（Depthwise Conv）算子耗时42ms，占49%。进一步分析发现，CMSIS-NN的depthwise卷积函数要求输入通道数为4的倍数，而模型输入通道为3，导致编译器回退到通用实现。将输入填充为4通道后，该算子耗时降至18ms，总推理时间降至61ms，提升28%。这个案例说明，算子实现与硬件特性的匹配度对性能影响巨大。

3.2 量化：精度与效率的权衡艺术

核心原理

量化（Quantization）是将浮点数（通常是FP32）表示的权重和激活值映射为低比特整数（如INT8、INT16）的过程。在STM32H7上，量化带来的收益是双重的：一是内存占用减少至原来的1/4（FP32→INT8），使得更大模型能够装入有限的Flash和RAM；二是整数运算在Cortex-M7上通常比浮点运算更快，且CMSIS-NN对INT8算子有深度优化。然而，量化并非无损操作，它引入了量化误差，可能导致模型精度下降。

常见的量化方案包括：训练后量化（Post-Training Quantization, PTQ）和量化感知训练（Quantization-Aware Training, QAT）。PTQ直接使用预训练模型，通过校准数据集确定量化参数（scale和zero-point），实现简单但精度损失较大；QAT在训练过程中模拟量化误差，使模型权重适应低比特表示，精度保持更好但需要重新训练。对于STM32H7上的典型应用（如关键词唤醒、异常检测），PTQ通常足够，但若精度下降超过2%，应考虑QAT。

判断方法或操作流程

量化方案选择流程如下：

1. 精度基线：在PC上使用FP32模型在验证集上测试，记录Top-1/Top-5准确率或mAP作为基线。
2. PTQ尝试：使用STM32Cube.AI的量化工具，选择代表性校准数据集（通常500-1000张图片），执行PTQ并评估精度。
3. 误差分析：若精度下降超过可接受阈值（如1%），分析各层输出的量化误差分布，找出敏感层（通常为第一层和最后一层）。
4. 混合量化：对敏感层保留FP16或INT16，其余层使用INT8，在精度与内存之间取得平衡。
5. QAT兜底：若混合量化仍不满足要求，则需在训练框架中启用QAT，重新训练模型。

案例拆解

某工业异常检测项目，使用ResNet-8模型检测传送带上的缺陷产品。FP32模型在STM32H750上推理延迟为23ms，RAM占用为180KB，精度为98.2%。采用PTQ量化至INT8后，延迟降至9ms，RAM占用降至52KB，但精度降至96.5%，低于客户要求的97%阈值。通过逐层分析发现，第一层卷积对量化最敏感。将该层保持INT16，其余层INT8，最终精度恢复至97.3%，延迟为11ms，RAM占用为68KB，满足所有约束。该案例表明，混合量化是解决精度-效率矛盾的有效手段。

3.3 内存占用：端侧AI的硬约束

核心原理

内存占用（Memory Footprint）是端侧AI部署中最关键的硬约束之一。STM32H7系列内置RAM容量因型号而异，例如STM32H743拥有512KB AXI SRAM、128KB AHB SRAM和64KB ITCM/DTCM，总计约1MB。模型推理时的内存占用主要由三部分构成：权重参数（存储在网络Flash中，但加载时需拷贝至RAM）、激活值（每层计算产生的中间张量）和运行时缓冲区（算子执行所需的临时内存）。

内存优化策略包括：内存复用（多个算子的激活张量共享同一块内存区域）、就地计算（算子输出直接覆盖输入）、权重重排（将权重按算子执行顺序排列，减少加载延迟）。STM32Cube.AI提供内存规划工具，可自动生成最优的内存分配方案，但开发者仍需理解其原理以进行手动调优。

判断方法或操作流程

内存占用评估流程：

1. 静态分析：使用STM32Cube.AI生成内存报告，查看权重、激活、中间缓冲区的预估大小。
2. 动态测量：在代码中通过链接器脚本设置RAM区域边界，在推理前后读取栈指针和堆指针，计算实际峰值内存使用。
3. 压力测试：连续运行推理100次，监控内存使用是否稳定，排除内存泄漏风险。
4. 余量评估：确保内存峰值不超过芯片RAM的80%，为RTOS任务栈、通信缓冲区等预留空间。

案例拆解

一个语音唤醒词模型（DS-CNN）在STM32H743上部署时，初始内存报告显示激活值峰值达到420KB，加上权重180KB和运行时开销，总占用超过600KB，接近RAM上限。通过分析发现，模型输入为16kHz采样率的1秒音频（16K个采样点），第一层卷积的激活张量巨大。将输入改为流式处理（每帧256个采样点，重叠50%），激活值峰值降至45KB，总内存占用降至280KB。该案例说明，模型输入设计对内存占用有决定性影响。

3.4 延迟与吞吐量：实时性与效率的双重维度

核心原理

延迟（Latency）指从输入数据到达至输出结果产生的总时间，通常以毫秒（ms）为单位。在STM32H7上，延迟包括数据采集时间、预处理时间、推理计算时间和后处理时间。对于实时控制类应用（如电机故障检测），延迟必须严格满足硬实时要求；对于数据采集类应用（如环境监测），延迟要求相对宽松。

吞吐量（Throughput）指单位时间内处理的样本数量，通常以FPS（帧/秒）或样本/秒表示。在MCU上，由于内存限制，通常无法进行批处理（Batch Processing），因此吞吐量约等于1000/延迟（ms）。但在某些场景下，可以通过双缓冲（Double Buffering）或流水线（Pipeline）技术，在采集下一帧数据的同时处理当前帧，从而提升有效吞吐量。

判断方法或操作流程

延迟与吞吐量测量方法：

1. 单次测量：使用GPIO翻转或DWT计数器，在推理函数前后打点，记录精确时间戳。重复测量100次，取平均值和标准差。
2. 稳定性分析：记录最大延迟和最小延迟，计算抖动（Jitter）。若抖动超过平均值的20%，需检查是否存在中断竞争或缓存未命中。
3. 吞吐量测试：在RTOS中创建周期性任务，以固定频率（如100Hz）触发推理，统计实际完成次数与理论次数的比值。
4. 负载测试：在系统满负载（如同时运行通信任务）下重新测量，评估性能退化程度。

案例拆解

某智能摄像头项目，需要在STM32H747上同时运行人脸检测（每帧30ms）和编码传输（每帧20ms）。初始设计为串行执行，总周期为50ms，吞吐量为20FPS。通过分析发现，人脸检测和编码传输可以部分重叠：检测完成后立即开始编码，同时采集下一帧图像。采用双缓冲和DMA传输后，有效周期降至35ms，吞吐量提升至28FPS。该案例展示了通过任务级流水线优化吞吐量的方法。

3.5 常见误区与总结复盘

误区一：只关注推理时间，忽略数据搬运时间

在STM32H7上，数据从传感器（如摄像头、麦克风）搬运至RAM的时间可能远超推理时间。例如，通过SPI接口读取1MB图像数据，在40MHz时钟下需要约200ms，而推理可能仅需50ms。因此，基准测试必须包含完整的数据链路时间，而非仅测量推理函数耗时。

误区二：量化后精度下降全部归咎于量化本身

精度下降可能源于多种因素：输入数据分布变化、预处理不一致、随机种子差异等。在评估量化影响时，应控制变量，确保除量化外其他条件完全一致。建议使用相同的随机种子和输入数据，在PC上对比FP32与INT8模型的输出差异。

误区三：内存占用只关注峰值，忽略碎片化

RTOS动态内存分配可能导致碎片化，使得即使总空闲内存充足，也无法分配连续大块内存。在STM32H7上，建议使用静态内存池或内存分区管理，避免频繁malloc/free操作。

总结复盘

本章建立的概念框架是后续所有基准测试的基础。在实际项目中，建议按以下顺序执行：首先明确应用场景的延迟和吞吐量需求，然后评估模型在目标硬件上的内存占用是否可行，接着选择合适的量化方案，最后通过算子级优化和任务级流水线调优达到性能目标。每个环节都需要用数据说话，避免凭经验猜测。STM32H7提供了强大的计算能力和丰富的外设，但只有深入理解这些基础概念，才能充分发挥其端侧AI潜力。