嵌入式机器学习基础：TinyML核心概念、模型压缩技术与典型应用场景

在嵌入式系统上部署机器学习模型，并非简单地将训练好的模型“塞进”单片机。TinyML 的本质，是在功耗、内存、算力都极度受限的微控制器（MCU）级硬件上，实现高效的推理（Inference）能力。Zephyr RTOS 作为资源友好的实时操作系统，为 TinyML 提供了多线程调度、内存管理和外设驱动支持，但真正决定模型能否跑起来的，是模型本身是否足够“轻量”。本章将深入剖析 TinyML 的核心概念，重点讲解量化、剪枝、蒸馏三大模型压缩技术，并结合典型应用场景，帮助你在 Zephyr 环境中建立从模型到部署的完整认知。

上图展示了 TinyML 从训练到部署的完整链路。可以看到，模型压缩技术是连接“大模型”与“小硬件”之间的桥梁。在 Zephyr 环境中，我们通常使用 TensorFlow Lite for Microcontrollers (TFLM) 作为推理引擎，而压缩后的模型正是 TFLM 能够高效运行的输入。下面，我们将逐一拆解这些核心概念。

2.1 TinyML 核心概念与约束边界

核心原理：TinyML 并非简单的“嵌入式 + 机器学习”，而是一套针对资源受限设备（MCU、SoC）的机器学习工程方法论。其核心约束体现在三个维度：存储空间（Flash 通常 256KB~1MB）、运行内存（RAM 通常 16KB~256KB）、计算能力（CPU 主频通常 10MHz~100MHz，无 GPU）。这些约束决定了我们无法直接运行 VGG16 或 BERT 这类大模型，必须通过压缩技术将模型“瘦身”到可执行范围。

判断方法：在项目启动时，需要先评估目标硬件的资源上限。一个实用的判断标准是：模型参数量（字节） + 激活值峰值（字节） ≤ 可用 RAM 的 60%。例如，若 MCU 有 64KB RAM，则模型总内存占用应控制在 38KB 以内。同时，Flash 占用需包含模型权重、代码段和运行时库。

2.2 模型压缩技术之一：量化（Quantization）

核心原理：量化是将模型中的浮点数（FP32）参数转换为低比特整数（如 INT8）的过程。FP32 占用 4 字节，INT8 仅占 1 字节，直接带来 4 倍模型体积缩减。更重要的是，整数运算在 MCU 上远比浮点运算快（部分 Cortex-M 内核甚至没有 FPU）。量化分为训练后量化（Post-Training Quantization, PTQ）和量化感知训练（Quantization-Aware Training, QAT）。PTQ 简单快速，但精度损失较大；QAT 在训练时模拟量化误差，精度保留更好。

操作流程（以 PTQ 为例）：

1. 使用 TensorFlow 训练浮点模型，保存为 .h5 或 .pb 格式。
2. 准备代表性数据集（通常 100-500 张图片或传感器样本），用于统计激活值范围。
3. 调用 tf.lite.TFLiteConverter 设置 optimizations = [tf.lite.Optimize.DEFAULT]，并指定 representative_dataset。
4. 转换后得到 .tflite 文件，再通过 xxd -i 命令生成 C 数组，嵌入 Zephyr 工程。

# Python 端量化转换示例
import tensorflow as tf

converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_data_gen  # 生成器函数
tflite_model = converter.convert()

# 保存为 C 数组
with open('model.tflite', 'wb') as f:
    f.write(tflite_model)
# 终端执行: xxd -i model.tflite > model_data.cc

案例拆解：某工业异常检测项目，使用 1D CNN 对振动信号分类。原始 FP32 模型大小为 480KB，在 STM32F446（180MHz, 128KB RAM）上无法运行。采用 PTQ 量化至 INT8 后，模型降至 120KB，RAM 占用从 96KB 降至 28KB，推理时间从 850ms 降至 210ms，准确率仅下降 0.7%（从 97.2% 降至 96.5%）。关键点：量化时需检查每层激活值范围，若某些层分布极不均匀，可考虑对该层单独使用更高比特（如 INT16）或改用 QAT。

2.3 模型压缩技术之二：剪枝（Pruning）

核心原理：剪枝是移除神经网络中冗余权重或神经元的过程。训练后的模型中，许多权重接近零，对推理结果贡献极小。通过将这些权重置零并删除，可以生成稀疏矩阵，从而减少存储和计算量。剪枝分为非结构化剪枝（单个权重置零，矩阵变稀疏）和结构化剪枝（移除整个通道或滤波器，保持矩阵稠密）。MCU 上非结构化剪枝需要稀疏矩阵库支持，而结构化剪枝可直接减少卷积计算量。

判断方法：结构化剪枝更适合嵌入式部署。判断标准：若某通道的权重 L2 范数小于阈值（如全局平均值的 1%），则可移除该通道。在 Zephyr 中，结构化剪枝后的模型可直接使用标准 TFLM 推理，无需特殊内核。

操作流程：

• 使用 TensorFlow Model Optimization Toolkit 进行剪枝训练。
• 设置剪枝计划：如 pruning_schedule = tfmot.sparsity.keras.PolynomialDecay(initial_sparsity=0.3, final_sparsity=0.8)。
• 训练完成后，导出模型并转换为 TFLite 格式。
• 在 Zephyr 中，通过 tflite::MicroMutableOpResolver 注册必要的算子（如 ADD, CONV_2D）。

# 剪枝训练示例
import tensorflow_model_optimization as tfmot

prune_low_magnitude = tfmot.sparsity.keras.prune_low_magnitude
model_for_pruning = prune_low_magnitude(model, pruning_schedule=...)
# 训练后去除剪枝包装
model = tfmot.sparsity.keras.strip_pruning(model_for_pruning)

案例拆解：在关键词唤醒（KWS）任务中，使用 DS-CNN 模型，原始参数 40 万。通过 80% 结构化剪枝，移除了 60% 的通道，模型体积从 1.6MB 降至 640KB，推理时间从 120ms 降至 45ms，准确率从 94% 降至 92.8%。复盘经验：剪枝后必须进行微调（Fine-tune）以恢复精度，通常需要 5-10 个 epoch。在 Zephyr 上部署时，需注意 Flash 中稀疏矩阵的存储格式，建议使用 CSR（Compressed Sparse Row）格式，但 TFLM 默认不支持，因此更推荐结构化剪枝。

2.4 模型压缩技术之三：知识蒸馏（Distillation）

核心原理：蒸馏是将一个复杂大模型（教师模型）的知识迁移到一个简单小模型（学生模型）的过程。学生模型学习教师模型的软输出（概率分布），而不仅仅是硬标签。软输出包含了类别间的相似性信息（例如“猫”和“狗”的概率分布），这比独热编码（One-hot）提供更丰富的监督信号。蒸馏特别适合 MCU 场景，因为我们可以先训练一个高精度大模型，再蒸馏出一个小模型。

操作流程：

1. 训练一个高精度教师模型（可以是 ResNet-50 或 BERT-Tiny）。
2. 定义学生模型（如 MobileNetV1 或 2D CNN）。
3. 使用蒸馏损失函数：L = α * L_hard + (1-α) * L_soft，其中 L_soft 是学生输出与教师软标签的 KL 散度，温度 T 通常设为 3-5。
4. 训练学生模型，然后进行量化或剪枝进一步压缩。

# 蒸馏损失计算示意
import tensorflow as tf

def distillation_loss(y_true, y_pred, teacher_pred, temperature=4, alpha=0.1):
    hard_loss = tf.keras.losses.categorical_crossentropy(y_true, y_pred)
    soft_loss = tf.keras.losses.KLDivergence()(
        tf.nn.softmax(teacher_pred / temperature),
        tf.nn.softmax(y_pred / temperature)
    )
    return alpha * hard_loss + (1 - alpha) * soft_loss * (temperature ** 2)

案例拆解：在视觉唤醒词（Visual Wake Words）场景中，教师模型为 EfficientNet-Lite0（5M 参数），学生模型为定制 3 层深度可分离卷积网络（0.3M 参数）。仅用硬标签训练，学生模型准确率为 82%；使用蒸馏后，准确率提升至 88.5%，接近教师模型的 91%。关键输入数据：蒸馏需要教师模型对每个样本输出完整的概率向量，这会增加训练时的数据存储开销，但在推理时无额外成本。

2.5 典型应用场景与 Zephyr 集成要点

场景一：关键词唤醒（KWS）。在智能音箱或耳机中，MCU 需持续监听麦克风数据，检测唤醒词。模型通常为 DS-CNN 或 CRNN，输入为 40 通道 MFCC 特征。在 Zephyr 中，使用 I2S 接口采集音频，DMA 传输至内存缓冲区，推理线程从缓冲区读取数据并执行 TFLM 推理。关键点：音频帧通常为 30ms，推理需在 30ms 内完成，否则会丢数据。

场景二：工业异常检测。通过加速度计或振动传感器监测电机状态。模型为 1D CNN 或 LSTM。Zephyr 的 SPI 或 I2C 接口读取传感器数据，使用 k_msgq 传递数据到推理线程。异常检测的实时性要求通常为 100ms 级别，INT8 量化模型可轻松满足。

场景三：图像分类（极低分辨率）。如 96x96 灰度图像分类。使用 MobileNetV1 0.25 或定制 CNN。Zephyr 通过 DCMI 接口（若 MCU 支持）或 SPI 从摄像头模块获取图像。由于图像数据较大，需使用 k_malloc 动态分配内存，并注意内存碎片问题。

常见误区与总结：

• 误区一：认为量化后模型一定精度下降。实际上，若使用 QAT 并合理设置校准数据集，INT8 模型精度可接近 FP32。
• 误区二：忽略 Zephyr 的内存对齐。TFLM 的 tensor_arena 需要 16 字节对齐，否则可能导致 HardFault。
• 误区三：剪枝后不微调。直接剪枝到 90% 稀疏度而不微调，模型可能完全失效。
• 总结复盘：TinyML 部署是一个系统工程。在 Zephyr 上，建议先使用 qemu_cortex_m3 模拟器验证模型推理逻辑，再移植到真实硬件。同时，利用 Zephyr 的 sensor 驱动框架简化外设接入，将推理任务封装为独立线程，通过信号量同步数据就绪事件。