4、TinyML基础概念：模型量化（INT8/FP16）、模型压缩、推理引擎（TensorFlow Lite Micro、EloquentTinyML）、内存占用与延迟指标

在ESP32这类资源受限的微控制器上部署机器学习模型，与在服务器或移动端上运行推理有着本质区别。ESP32-S3通常只有512KB左右的SRAM和8MB左右的PSRAM（外部扩展），且CPU主频最高240MHz，没有GPU或NPU加速。因此，我们必须对模型进行“瘦身”和“改造”，使其能在有限的算力与存储空间内高效运行。本章将深入剖析TinyML的四大核心支柱：模型量化、模型压缩、推理引擎选型，以及衡量性能的关键指标——内存占用与推理延迟。理解这些概念，是后续进行模型评估与PSRAM压力测试的理论基石。

上图展示了TinyML模型从优化到部署再到评估的完整链路。在ESP32平台上，我们通常先使用TensorFlow或PyTorch训练一个高精度的FP32模型，然后通过量化与压缩技术将其转换为适合微控制器的格式，最后借助推理引擎在设备端运行。整个过程中，内存占用与延迟指标是衡量部署效果的核心标尺。

4.1 模型量化：INT8与FP16的权衡艺术

核心原理：为什么需要量化？

深度学习模型默认使用32位浮点数（FP32）存储权重和激活值。一个包含100万个参数的模型，其权重文件大小约为4MB。而ESP32的Flash通常只有4-16MB，SRAM更是仅有320-520KB。如果直接运行FP32模型，不仅存储空间不足，推理时的计算量也会让CPU不堪重负。模型量化的核心思想，是将FP32的数值映射到更低比特位宽的表示，例如16位浮点数（FP16）或8位整数（INT8）。

• FP16量化：将FP32的32位浮点数截断为16位。权重体积减半，精度损失极小（通常<0.5%），但ESP32-S3的FPU（浮点运算单元）原生支持FP16运算，因此推理速度提升有限，主要收益在存储空间。
• INT8量化：将浮点数映射到-128到127的整数范围。权重体积缩小至原来的1/4，且整数运算在ESP32上比浮点运算快2-4倍。但需要额外的“零点”（zero-point）和“缩放因子”（scale）来还原数值，精度损失通常在1%-3%之间。

判断方法：量化误差评估流程

1. 准备校准数据集：从训练集中随机抽取100-500个样本，用于统计激活值的动态范围。
2. 执行量化：使用TensorFlow Lite Converter的optimizations参数指定量化方式。
3. 对比精度：在验证集上分别计算FP32模型与量化模型的准确率、F1分数等指标。
4. 检查资源占用：通过model.interpreter.get_tensor_details()查看量化后各张量的数据类型。

# Python端量化转换示例
import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_saved_model('saved_model_dir')
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset_gen  # 校准数据生成器
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
tflite_model = converter.convert()
with open('model_int8.tflite', 'wb') as f:
    f.write(tflite_model)

案例拆解：关键词唤醒模型的量化实战

假设我们训练了一个用于唤醒词“小智同学”的CNN模型，原始FP32模型大小为380KB，在ESP32-S3上单次推理耗时85ms。经过INT8量化后，模型大小降至95KB，推理耗时降至32ms，但唤醒准确率从97.2%下降至95.8%。通过分析混淆矩阵发现，误报主要发生在噪声环境下。我们决定对第一层卷积层保留FP16，其余层使用INT8，最终模型大小为120KB，推理耗时41ms，准确率恢复至96.5%。这个案例说明，量化并非“一刀切”，需要针对具体层进行精细调优。

4.2 模型压缩：剪枝与知识蒸馏

核心原理：减少冗余参数

量化是“降低每个参数的位宽”，而模型压缩则是“减少参数的数量”。常见的压缩技术包括：

• 权重剪枝：将绝对值接近零的权重直接置零，使权重矩阵变得稀疏。ESP32的Flash存储稀疏矩阵时，可以跳过零值，从而减少存储和计算量。
• 知识蒸馏：用一个大型“教师模型”指导一个小型“学生模型”训练。学生模型学习教师模型的输出概率分布，而非仅学习硬标签，从而在更小的参数量下逼近教师模型的精度。
• 权重共享：将相近的权重值聚类为同一个代表值，配合码本存储，进一步压缩体积。

操作流程：剪枝与蒸馏的工程步骤

1. 训练基准模型：先训练一个精度达标的FP32模型作为基线。
2. 应用剪枝：使用TensorFlow Model Optimization Toolkit设置稀疏度（如50%），在微调过程中逐步将小权重置零。
3. 蒸馏训练：将剪枝后的模型作为学生模型，用原始大模型（或集成模型）作为教师，使用KL散度作为损失函数的一部分进行训练。
4. 评估与迭代：在验证集上测试压缩后模型的精度，若下降超过2%，则降低剪枝比例或增加蒸馏温度参数。

4.3 推理引擎：TensorFlow Lite Micro与EloquentTinyML

核心原理：解释器与代码生成

推理引擎负责在设备端加载模型并执行计算。ESP32上主要有两种选择：

• TensorFlow Lite Micro（TFLM）：Google官方为微控制器设计的推理框架。它采用解释器模式，动态解析模型图并调用预编译的算子内核。TFLM的内存占用极小（基础内核约20KB SRAM），支持INT8/FP16算子，但需要手动管理arena内存。
• EloquentTinyML：一个基于Arduino生态的封装库，底层仍使用TFLM，但提供了更简洁的API。它自动处理内存分配、模型加载和推理调用，适合快速原型验证，但灵活性稍差。

判断方法：如何选择推理引擎？

案例拆解：PSRAM压力测试中的引擎选择

在本课程的PSRAM压力测试实验中，我们使用TFLM作为主引擎，原因在于：EloquentTinyML默认将模型权重加载到内部SRAM，当模型超过200KB时会导致内存溢出。而TFLM允许我们通过tflite::MicroMutableOpResolver和tflite::MicroInterpreter手动指定权重存储在PSRAM中。具体操作如下：

// 将模型权重放置在PSRAM（ESP32-S3）
const unsigned char* model_data = (const unsigned char*)ps_malloc(model_size);
memcpy((void*)model_data, g_model, model_size);

// 设置Tensor Arena为PSRAM
uint8_t* tensor_arena = (uint8_t*)ps_malloc(1024 * 1024); // 1MB PSRAM

tflite::MicroInterpreter interpreter(
    tflite::GetModel(model_data), resolver, tensor_arena, 1024 * 1024);

通过这种方式，我们成功将原本无法在SRAM中运行的500KB模型部署到PSRAM中，推理延迟仅增加约15%（PSRAM访问速度低于SRAM），但可用模型体积提升了5倍。

4.4 内存占用与延迟指标：量化评估的标尺

核心原理：两类关键指标

在ESP32上评估TinyML模型，必须同时关注“空间”和“时间”两个维度。

• 内存占用：包括Flash（存储模型权重和代码）、SRAM（运行时张量、中间结果、解释器元数据）和PSRAM（扩展存储）。关键指标是峰值SRAM使用量，因为SRAM不足会导致系统崩溃。
• 延迟指标：单次推理耗时（ms）、吞吐量（FPS）、以及首次推理延迟（冷启动时间）。对于唤醒词检测等场景，延迟需控制在50ms以内；对于图像分类，100ms以内可接受。

测量方法：使用ESP32内置工具

1. 内存测量：使用esp_get_free_heap_size()在推理前后分别调用，差值即为推理峰值内存。更精确的方法是使用heap_caps_get_free_size(MALLOC_CAP_SPIRAM)监控PSRAM使用。
2. 延迟测量：使用esp_timer_get_time()或millis()在推理调用前后打点，多次运行取平均值。

// 内存与延迟测量示例
uint32_t free_before = esp_get_free_heap_size();
int64_t start = esp_timer_get_time();
interpreter.Invoke();
int64_t end = esp_timer_get_time();
uint32_t free_after = esp_get_free_heap_size();

Serial.printf("推理耗时: %lld us\n", end - start);
Serial.printf("SRAM峰值占用: %d bytes\n", free_before - free_after);

常见误区与总结复盘