3、转换质量评估概述：为什么需要评估、评估的维度以及评估在嵌入式部署中的角色

TFLite Micro 的模型转换并非“一键导出”的简单操作，而是从浮点模型到定点（或整型）模型的一次深度重构。转换过程中，权重精度、激活值范围、算子融合策略以及内存复用方案都会发生改变，这些改变直接影响模型在微控制器上的行为表现。如果缺乏系统化的质量评估，开发者往往会在部署后遭遇“模型在 PC 上表现良好，上板后却完全失控”的困境。本章将系统阐述转换质量评估的必要性、核心评估维度，以及评估在嵌入式部署全流程中的关键角色，为后续章节中具体的误差统计、Top-K 分析和混淆矩阵方法奠定理论基础。

3.1 为什么需要评估：转换不是无损操作

模型转换的核心矛盾在于：浮点精度与嵌入式资源之间存在不可调和的张力。一个在 x86 服务器上训练好的 MobileNetV2 模型，权重文件可能高达 14MB，而典型的 Cortex-M4 微控制器仅有 256KB Flash 和 64KB RAM。TFLite Micro 通过将 FP32 权重量化为 INT8（4 倍压缩）或 INT16（2 倍压缩），配合算子融合和内存复用，才能将模型压缩到可部署的尺寸。然而，这种压缩并非无损——量化过程本质上是用离散的整数网格去逼近连续的浮点数值，必然引入舍入误差。

更关键的是，误差会在网络层间传播和放大。浅层的小幅量化偏差，经过深层卷积和激活函数的非线性变换后，可能演变为输出层的显著偏移。例如，在图像分类任务中，输入像素值从 0-255 归一化到 0.0-1.0 的浮点范围，再量化为 INT8 时，每个像素可能损失 0.002 的精度。单看这个数值微不足道，但经过 10 层卷积后，特征图的累积误差可能达到 0.5 以上，足以改变最终的分类结果。因此，评估不是可选项，而是部署前的强制关卡。

3.2 评估的四个核心维度

转换质量评估需要从四个相互关联的维度展开，每个维度都有其独特的度量指标和评估方法。下表总结了各维度的核心关注点、常用指标和典型工具：

3.2.1 精度评估：分类任务的核心指标

精度评估是最直观的质量度量。对于分类任务，Top-1 准确率表示模型预测的最高概率类别与真实标签一致的比例；Top-K 则放宽条件，只要真实标签出现在前 K 个预测中即算正确。在嵌入式场景中，Top-5 往往比 Top-1 更有参考价值，因为微控制器上的模型通常经过激进量化，Top-1 可能下降 2-3%，但 Top-5 可能仅下降 0.5%。混淆矩阵则能揭示模型在哪些具体类别上发生混淆——例如，在关键词唤醒任务中，模型可能频繁将“yes”误判为“ya”，这种细粒度错误在总体准确率中难以体现，但混淆矩阵可以清晰暴露。

3.2.2 延迟评估：实时性的硬约束

延迟评估必须在目标硬件上进行，而非 PC 模拟。微控制器的时钟频率、Flash 等待状态、SRAM 访问速度都会显著影响推理时间。常用的测量方法包括：使用 DWT->CYCCNT 寄存器精确计数 CPU 周期；在推理开始前将 GPIO 拉高、结束后拉低，用示波器测量脉冲宽度；或者直接调用 millis() 函数（精度较低，适合粗测）。延迟评估还需要考虑最坏情况——某些输入可能触发更长的计算路径（如动态形状的模型），因此应使用多样化的测试输入，而非单一固定样本。

3.2.3 内存评估：嵌入式部署的生命线

内存评估分为静态和动态两部分。静态内存指模型权重和算子代码占用的 Flash 空间，可通过编译器的 map 文件直接查看。动态内存指推理过程中张量缓冲区占用的 RAM，TFLite Micro 使用内存规划器（Memory Planner）在编译期就确定所有中间张量的内存布局，因此 RAM 峰值是确定的。评估时需要关注 tflite::MicroInterpreter 初始化时分配的 tensor_arena 大小——如果设置过小，初始化会失败；设置过大则浪费宝贵的 RAM。一个实用的经验法则是：先设置一个较大的 arena（如 100KB），通过 interpreter->arena_used_bytes() 获取实际使用量，再据此调整。

3.2.4 数值一致性评估：量化误差的量化

数值一致性评估是精度评估的补充，它不关心最终分类是否正确，而是关注量化模型输出与浮点基准输出之间的数值偏差。常用的指标包括平均误差（MAE）、均方误差（MSE）和最大误差。更精细的做法是逐层对比：在浮点模型和量化模型的对应层插入输出探针，比较特征图的分布差异。如果某一层的输出偏差突然增大，说明该层对量化敏感，可能需要对该层使用更高精度的量化方案（如 INT16 替代 INT8）。

3.3 评估在嵌入式部署中的角色

评估不是一次性的检查点，而是贯穿嵌入式部署全流程的持续活动。下图展示了评估在典型部署流程中的位置和作用：

1. 转换前基线建立：在转换之前，先在 PC 上运行浮点模型，记录其精度指标和逐层输出分布，作为后续对比的基准。
2. 转换后离线评估：使用 Python 的 tflite-runtime 库加载转换后的 .tflite 文件，在测试集上计算 Top-1、混淆矩阵等指标，与基线对比。
3. 硬件在环评估：将模型部署到目标微控制器，使用真实传感器数据或预录数据回放，测量实际延迟、内存占用和端到端精度。
4. 持续监控：在设备长期运行中，定期评估模型输出分布，检测是否出现漂移或异常。

3.4 案例拆解：关键词唤醒模型的转换评估

我们以一个实际的语音关键词唤醒（KWS）模型为例，完整展示评估流程。该模型基于 DS-CNN（Depthwise Separable Convolutional Neural Network），输入为 49 帧 × 10 维的 MFCC 特征，输出为 12 个类别（10 个关键词 + 2 个静音/未知类）。

背景与约束：目标硬件为 STM32F746G-DISCO 开发板（Cortex-M7 @ 216MHz，1MB Flash，320KB RAM）。产品要求：模型 Flash 占用 < 300KB，RAM 峰值 < 100KB，单次推理延迟 < 50ms，唤醒准确率 ≥ 95%。

初始现象：使用默认的 INT8 全整数量化（代表性数据集 1000 条），转换后模型在 PC 上测试 Top-1 准确率为 94.2%，略低于浮点基线的 96.8%。部署到开发板后，实测延迟为 62ms，超出 50ms 的规格要求。

分析过程：

• 精度分析：通过混淆矩阵发现，模型在“yes”和“ya”两个关键词上混淆严重（混淆率 12%），而其他类别表现正常。进一步检查发现，这两个词的 MFCC 特征在低频段高度相似，量化后特征差异被进一步压缩。
• 延迟分析：使用 DWT->CYCCNT 计时，发现第一层卷积（输入 49×10，输出 25×5×64）耗时 28ms，占总延迟的 45%。该层使用标准卷积而非深度可分离卷积，计算量最大。
• 内存分析：通过 arena_used_bytes() 查询，实际使用 82KB，满足 100KB 约束，但余量不大。

优化措施：

1. 针对混淆问题，将“yes”和“ya”的训练样本各增加 30%，并添加 MFCC 特征增强（频率掩蔽），重新训练后浮点模型准确率提升至 97.2%。
2. 针对延迟问题，将第一层标准卷积替换为深度可分离卷积（结构修改），并重新训练。模型参数量从 42K 降至 31K，但准确率仅下降 0.3%。
3. 使用 5000 条代表性数据集重新量化，校准过程中的 min/max 值更准确，量化误差降低。

结果对比：

复盘经验：本次优化中，精度和延迟问题并非孤立存在——混淆矩阵揭示了数据层面的缺陷，而延迟分析暴露了网络结构的不合理。评估的价值在于将模糊的“模型不行”转化为具体的“哪一层、哪个类别、哪个指标出了问题”。此外，量化校准数据集的质量直接影响最终精度，使用 1000 条数据可能不足以覆盖所有输入分布，5000 条数据带来了 0.8% 的精度提升。

3.5 常见误区与总结