3. 模型转换与量化：TFLite模型导出、INT8量化原理、NPU算子映射、精度损失分析与补偿
好，咱们进入第三章。这一章是实战的敲门砖。模型训练得再好，落不了地也是白搭。说白了，我们要把PC端那个“养尊处优”的浮点模型，变成一个能在Cortex-M上跑得飞快、吃得很少的INT8模型。这个过程，我习惯叫它“过三关”：转换、量化、映射。
3.1 TFLite模型导出：从TF到TFLite的“瘦身”
第一步，把训练好的TensorFlow模型转成TFLite格式。这不仅仅是换个后缀名，它是一次结构性的精简。
我个人习惯用Python的tf.lite.TFLiteConverter。这里有个关键点：你训练时用的SavedModel、Keras H5或者具体的concrete function，转换的入口略有不同，但核心逻辑一致。
import tensorflow as tf
# 加载训练好的模型
model = tf.saved_model.load('path/to/your/saved_model')
# 创建转换器
converter = tf.lite.TFLiteConverter.from_saved_model('path/to/your/saved_model')
# 关键：设置优化策略
converter.optimizations = [tf.lite.Optimize.DEFAULT]
# 转换为TFLite模型
tflite_model = converter.convert()
# 保存
with open('model.tflite', 'wb') as f:
f.write(tflite_model)
converter.target_spec.supported_ops 指定目标算子集。比如针对Cortex-M，我会加上 [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]，这样转换器会优先选择INT8实现，避免后续量化时出现不支持的算子。
3.2 INT8量化原理：为什么是INT8？
为什么要量化？你想想看，一个32位浮点数占4个字节，一个8位整数只占1个字节。模型体积直接缩小到1/4。更重要的是，NPU和MCU的乘累加器（MAC）对INT8的计算效率远高于FP32。
INT8量化的核心公式其实很简单，就是线性映射：
量化： q = round(r / S) + Z
反量化： r = (q - Z) * S
其中，r是浮点值，q是量化后的INT8值，S是缩放因子（Scale），Z是零点偏移（Zero Point）。
这里有个坑，我在项目中遇到过。S和Z的计算依赖于激活值和权重的分布。如果分布不均匀，比如大部分值集中在0附近，但有几个离群点，量化精度就会很差。
- 舍入误差： round()操作带来的信息丢失。
- 截断误差： 超出INT8范围[-128, 127]的值被强制截断。
- 不均匀分布： 数据分布与量化步长不匹配。
3.3 NPU算子映射：让模型“说”NPU能听懂的话
模型量化好了，但NPU不是万能的。它只认识自己硬件指令集里支持的算子。这就好比一个只会说中文的人，你给他一份英文说明书，他看不懂。
NPU算子映射，就是把TFLite模型里的算子，替换成NPU硬件支持的算子。这个过程通常由厂商提供的工具链自动完成，但作为架构师，你必须知道哪些算子能映射，哪些不能。
| TFLite算子 | 常见NPU映射情况 | 备注 |
|---|---|---|
| CONV_2D | ✅ 完美映射 | NPU核心算子，效率极高 |
| DEPTHWISE_CONV_2D | ✅ 完美映射 | MobileNet等轻量网络核心 |
| FULLY_CONNECTED | ✅ 良好映射 | 可映射为矩阵乘 |
| AVERAGE_POOL_2D | ✅ 良好映射 | 通常有专用硬件单元 |
| SOFTMAX | ⚠️ 部分映射 | NPU可能不支持，需回退到CPU |
| RESHAPE | ✅ 零成本映射 | 仅改变数据视图，无计算 |
| PAD | ⚠️ 部分映射 | 某些NPU不支持非对称Padding |
PRELU 激活函数。模型转换时，工具链没有报错，而是悄悄地把 PRELU 映射到了CPU上。结果推理速度直接掉了一个数量级。所以，一定要检查工具链生成的映射报告，确认所有算子都跑在NPU上。
3.4 精度损失分析与补偿：量化后的“体检”与“修复”
量化完成后，模型精度下降是必然的。我们的目标是让这个下降在可接受范围内（比如1%-2%）。
精度损失分析，我一般分三步走：
- 逐层对比： 用原始浮点模型和量化模型，对同一批输入数据，逐层输出激活值，计算余弦相似度或均方误差（MSE）。
- 定位敏感层： 找出那些相似度特别低的层。这些层就是精度损失的“重灾区”。
- 分析原因： 是权重分布问题？还是激活值范围问题？
找到问题后，补偿手段有几种：
- 量化感知训练（QAT）： 在训练过程中模拟量化效果，让模型自己适应INT8的精度。这是最有效的方法，但需要重新训练。
- 部分层回退到FP32： 如果只有个别层精度损失严重，可以让这些层在CPU上跑FP32，其他层继续用NPU跑INT8。这是一种折中方案。
- 校准数据集优化： 量化时，需要一小部分校准数据来确定S和Z。如果校准数据分布与真实数据分布不一致，精度就会差。我建议用几百张有代表性的真实场景图片做校准。
嗯，这张图基本概括了本章的核心流程。从FP32模型开始，经过TFLite导出、INT8量化、NPU算子映射，最后到精度分析。如果精度不达标，就需要沿着虚线反馈回去，调整量化策略或模型结构，直到满足要求为止。