4、模型评估指标体系：准确率、延迟、内存占用、功耗等关键指标的定义与测量方法

在STM32U5端侧推理项目中，模型评估是连接算法设计与硬件部署的关键桥梁。与云端AI不同，端侧推理的评估必须同时兼顾算法效果与资源约束，任何单一指标的优化都可能以牺牲其他指标为代价。本章将系统阐述准确率、延迟、内存占用、功耗四大核心指标的定义、测量方法及其在STM32U5平台上的工程实践，帮助开发者建立一套可量化、可复现、可对比的评估体系。

4.1 准确率评估：从数据集到端侧部署的完整链路

核心原理：准确率衡量模型在目标任务上的预测正确程度，是算法价值的直接体现。在端侧场景中，准确率评估需要区分三个层次：原始浮点模型准确率、量化后模型准确率、以及部署到STM32U5后实际运行准确率。三者之间的差异反映了量化损失和硬件实现误差。

测量方法：准确率测量必须建立在标准化的数据集和评估协议之上。对于分类任务，常用Top-1和Top-5准确率；对于目标检测任务，使用mAP（mean Average Precision）；对于分割任务，使用mIoU（mean Intersection over Union）。在STM32U5平台上，推荐采用以下流程：

1. 准备验证数据集（建议至少1000张代表性样本，覆盖各类别和边界情况）；
2. 使用STM32Cube.AI工具链将模型转换为C代码并编译烧录；
3. 编写测试程序，逐张输入图片并记录预测结果；
4. 通过UART或USB将预测结果回传PC，与Ground Truth比对计算准确率。

评估层次	工具/方法	典型耗时	关键关注点
浮点模型	Python + TensorFlow/PyTorch	分钟级	算法上限
量化模型	STM32Cube.AI 模拟器	分钟级	量化误差
板级验证	STM32U5 + 测试程序	小时级	硬件实现一致性

4.2 延迟评估：精确测量单次推理耗时

核心原理：延迟（Latency）指从输入数据准备好到推理结果输出之间的时间间隔。在STM32U5上，延迟受主频（最高160MHz）、Flash等待状态、SRAM访问速度、以及CMSIS-NN算子优化程度共同影响。延迟测量必须区分冷启动延迟（首次推理，包含权重加载）和稳态延迟（连续推理），产品设计通常关注稳态延迟。

测量方法：推荐使用DWT->CYCCNT（Cortex-M内核周期计数器）进行高精度计时，精度可达1个CPU周期（约6.25ns @160MHz）。测量代码示例如下：

// 初始化DWT周期计数器
CoreDebug->DEMCR |= CoreDebug_DEMCR_TRCENA_Msk;
DWT->CYCCNT = 0;
DWT->CTRL |= DWT_CTRL_CYCCNTENA_Msk;

// 测量推理延迟
uint32_t start = DWT->CYCCNT;
ai_run(&network, input_data, output_data);
uint32_t cycles = DWT->CYCCNT - start;
float latency_ms = (float)cycles / 160000000.0f * 1000.0f;

统计方法：单次测量受中断、缓存状态影响较大，应至少运行100次推理，计算P50（中位数）、P95和P99延迟。P50反映典型性能，P95/P99反映最差情况，对实时性要求高的场景（如语音唤醒）需重点优化P99。

4.3 内存占用评估：Flash与RAM的精细化管理

核心原理：STM32U5的内存评估分为两部分：静态内存（模型权重、偏置、激活函数表等存储在Flash中）和动态内存（推理过程中的中间激活值、输入输出缓冲区存储在RAM中）。STM32U5系列最高配备4MB Flash和2.5MB SRAM，但实际可用空间受限于封装和电源配置。

测量方法：Flash占用可通过编译生成的.map文件直接读取，查找模型权重数组的起始地址和大小。RAM占用则需要结合静态分配和运行时峰值监控：

1. 静态RAM：在链接脚本中查看.bss和.data段大小；
2. 动态RAM：使用Cube.AI生成的ai_get_runtime_memory_size() API获取推理所需内存池大小；
3. 峰值监控：在推理前后记录堆栈指针位置，计算最大栈深度。

内存类型	STM32U5典型容量	模型占用示例	优化手段
Flash（模型权重）	1-4MB	MobileNetV2 Q8: 3.5MB	量化到int8/int4、权重共享
SRAM（激活值）	2.5MB	输入224x224x3: 150KB	内存复用、算子融合
SRAM（中间缓冲）	—	各层输出累加: 200-500KB	网络结构优化、减少通道数

4.4 功耗评估：从平均功耗到能量效率

核心原理：端侧AI的功耗由三部分组成：计算功耗（CPU/加速器动态功耗）、存储访问功耗（Flash/SRAM读写）、外设功耗（传感器、通信模块）。STM32U5采用40nm工艺，在低功耗模式下表现优异，但AI推理需要高频运行，功耗通常达到50-150mW（@160MHz，活跃模式）。

测量方法：推荐使用高精度电流探头（如Joulescope，采样率2kHz）配合示波器进行测量。测量步骤：

1. 断开开发板的USB供电，使用外部稳压电源（3.3V）供电；
2. 在电源回路中串联10mΩ采样电阻，使用差分探头测量电压降；
3. 运行推理程序，记录完整周期的电流波形；
4. 计算平均功耗 = 平均电流 × 电压，峰值功耗 = 峰值电流 × 电压。

能效指标：推荐使用能效比（TOPS/W）或每帧能耗（mJ/帧）作为跨平台对比指标。例如，STM32U5运行MobileNetV2（300M MACs）延迟32ms，平均功耗85mW，则每帧能耗 = 85mW × 32ms = 2.72mJ。

4.5 多指标联合评估与优化决策

核心原理：四个指标之间存在相互制约关系：提高准确率通常需要更大模型，导致延迟增加、内存和功耗上升；降低功耗需要降低主频或使用低功耗模式，但会增加延迟。因此，必须建立多目标优化框架，根据产品需求确定指标优先级。

决策流程：

• 第一步：明确产品约束（如最大延迟50ms、最大RAM 1MB、平均功耗100mW）；
• 第二步：建立基线模型（如MobileNetV2、EfficientNet-Lite），测量四项指标；
• 第三步：进行敏感性分析——分别调整量化位宽（int8/int16）、输入分辨率、网络深度，观察各指标变化；
• 第四步：使用帕累托前沿（Pareto Front）选择最优解集，结合业务场景做最终决策。

优化手段	准确率影响	延迟影响	内存影响	功耗影响
int8量化	↓0.5-2%	↓30-50%	↓75%	↓20-30%
输入分辨率减半	↓1-3%	↓60-70%	↓60-70%	↓50-60%
通道剪枝(30%)	↓1-2%	↓25-35%	↓25-35%	↓20-30%
算子融合(Conv+BN)	无变化	↓5-10%	↓10-15%	↓5-10%