嵌入式机器学习基础：神经网络核心概念、量化与剪枝、模型压缩、典型TinyML应用场景

嵌入式机器学习（TinyML）是将深度学习模型部署到资源受限的微控制器（MCU）平台上的技术实践。与云端或移动端AI不同，TinyML面临的内存预算通常以KB为单位，算力以MHz计，且往往需要满足实时性与低功耗的双重约束。ARM Cortex-M55与Ethos-U55的组合，正是为这一场景量身定制的硬件基座——前者提供增强的标量与向量处理能力，后者作为微神经网络处理单元（NPU）承担矩阵运算加速。要在这类平台上高效运行模型，工程师必须理解神经网络的核心计算范式，掌握量化、剪枝与模型压缩等关键优化手段，并清楚哪些应用场景真正适合TinyML落地。

2.1 神经网络核心概念：从全精度到嵌入式视角

神经网络在TinyML语境下的核心计算单元是卷积层（Convolution Layer）与全连接层（Fully Connected Layer）。以卷积为例，其本质是输入特征图与卷积核之间的乘加运算（MAC）。一个形状为 [C_in, H_in, W_in] 的输入张量，经过 C_out 个形状为 [C_in, K_h, K_w] 的卷积核，产生输出特征图 [C_out, H_out, W_out]。这一过程的计算量约为 C_out × C_in × K_h × K_w × H_out × W_out 次MAC操作。在Cortex-M55上，CMSIS-DSP库中的矩阵乘函数可充分利用其Helium向量扩展，将单周期MAC吞吐量提升至4次；而Ethos-U55则通过硬件加速器将MAC吞吐量提升一个数量级，典型配置下可达每秒数十亿次MAC（GOPS级）。

理解网络结构时，嵌入式工程师需要额外关注三个维度：参数量（决定Flash占用）、激活值大小（决定RAM占用）、计算量（决定推理延迟）。例如，一个经典的MobileNetV1网络，其参数量约4.2M（FP32下约16.8MB），计算量约569M MACs——这显然超出了Cortex-M55的片上存储能力。因此，TinyML通常选用参数量在100K-1M之间的轻量网络，如MobileNetV2的0.25倍宽度系数版本、SqueezeNet或自定义的小型CNN。

网络层类型	参数量公式	计算量公式	嵌入式关注点
标准卷积	C_in × C_out × K_h × K_w	C_out × C_in × K_h × K_w × H_out × W_out	计算密集，需NPU加速
深度可分离卷积	C_in × K_h × K_w + C_in × C_out	C_in × K_h × K_w × H_out × W_out + C_in × C_out × H_out × W_out	参数量减少8-9倍，适合MCU
全连接层	C_in × C_out	C_in × C_out	参数量占比高，可剪枝
BatchNorm层	4 × C_out	推理时可融合进卷积	训练后需折叠到前层

2.2 量化：从FP32到INT8的精度与效率权衡

量化是将神经网络中的浮点权重和激活值映射到低比特整数（如INT8、INT4）的过程。其核心原理是线性映射：r = S × (q - Z)，其中 r 为浮点实数，q 为量化后的整数，S 为缩放因子（浮点标量），Z 为零点（整数偏移）。在ARM平台上，最常用的是对称量化（Z=0）与非对称量化（Z≠0）。对称量化实现简单，适合权重；非对称量化对激活值分布更友好，可减少精度损失。

实际操作中，量化分为训练后量化（Post-Training Quantization, PTQ）与量化感知训练（Quantization-Aware Training, QAT）两种路径。PTQ只需少量校准数据即可完成，但精度损失较大（通常1-3%）；QAT在训练过程中模拟量化误差，精度损失可控制在0.5%以内，但需要重新训练模型。对于Cortex-M55+Ethos-U55平台，推荐流程如下：

1. 模型预训练：使用FP32精度在PC端完成训练，确保基线精度达标。
2. 校准数据收集：从验证集中选取100-500张代表性样本，用于统计激活值范围。
3. PTQ尝试：使用TensorFlow Lite Converter进行INT8量化，评估精度损失。
4. 若精度损失>2%：切换至QAT，在训练图中插入伪量化节点（FakeQuant），微调3-5个epoch。
5. 导出与验证：生成INT8 TFLite模型，在PC端模拟器验证，再部署到开发板。

2.3 剪枝与模型压缩：减少冗余，提升推理效率

剪枝（Pruning）通过移除网络中不重要的权重或神经元来减小模型规模。结构化剪枝（如通道剪枝）直接删除整个卷积核通道，对硬件友好；非结构化剪枝（细粒度剪枝）将单个权重置零，产生稀疏矩阵，但需要特殊硬件支持才能获得实际加速。对于Cortex-M55+Ethos-U55，通道剪枝是首选，因为它能直接减少MAC计算量，且无需稀疏矩阵存储格式。

剪枝的典型流程包括：训练-剪枝-微调三步。首先训练一个较大模型，然后根据权重L1/L2范数或BN层缩放因子评估通道重要性，剪除不重要的通道，最后对剪枝后的模型进行微调恢复精度。实际项目中，通常可以剪除30-50%的通道而精度损失不超过1%。

除剪枝外，模型压缩还包括权重共享与低秩分解。权重共享通过聚类将相近权重归为一类，用码本索引替代原始值，典型压缩比可达4-8倍；低秩分解将权重矩阵分解为两个小矩阵的乘积，适用于全连接层，但对卷积层效果有限。在Ethos-U55上，权重共享的码本查找会增加内存访问开销，因此实际部署中更推荐结合INT8量化与通道剪枝，而非复杂的权重共享方案。

压缩技术	压缩比	精度影响	硬件适配性	实现复杂度
INT8量化	4×	低（<1%）	Ethos-U55原生支持	低（工具链成熟）
通道剪枝	1.5-2×	中（需微调）	减少MAC，通用	中（需重训）
权重共享	4-8×	中高	需查表，可能增加延迟	高
低秩分解	2-3×	中	仅全连接层有效	高

2.4 典型TinyML应用场景与案例分析

TinyML的典型应用集中在关键词唤醒（KWS）、视觉唤醒词检测（VWW）、传感器异常检测和预测性维护四大领域。这些场景的共同特点是：数据在边缘产生、需要低延迟响应、网络连接不可靠或功耗受限。以关键词唤醒为例，一个典型的KWS模型（如DS-CNN）参数量约40K-100K，INT8量化后Flash占用仅40-100KB，在Cortex-M55上推理延迟可控制在30ms以内，功耗低于5mW——这完全满足智能音箱、可穿戴设备的常开监听需求。

下面通过一个工业预测性维护案例，完整展示TinyML的落地过程。

2.5 常见误区与总结复盘

在TinyML模型优化实践中，工程师常陷入以下误区：

• 误区一：追求极致压缩比。将模型压缩至极限，却忽视了部署后的鲁棒性。例如，INT4量化虽然能进一步减小Flash占用，但在Cortex-M55上需要额外的反量化指令，实际推理延迟可能不降反升。
• 误区二：忽略激活值内存。只关注权重大小，却未考虑中间特征图的RAM占用。一个输入为32×32×3的图像，经过16通道卷积后，激活值大小为32×32×16=16KB——在64KB RAM的MCU上，这已占用25%预算。
• 误区三：混淆计算量与参数量。认为参数量小的模型一定推理快。实际上，深度可分离卷积参数量小，但若实现不当，内存访问开销可能抵消计算优势。
• 误区四：跳过硬件在环验证。仅在PC模拟器上验证精度，未在真实硬件上测试延迟和功耗。Ethos-U55的NPU调度、DMA传输、缓存命中率都会影响实际性能。