3. TinyML核心概念

TinyML 的工程本质，是在功耗、内存、算力、延迟都极度受限的 MCU 级硬件上，让神经网络推理“跑得动、跑得稳、跑得省”。要达到这一目标，不能只依赖硬件优化，更核心的是从模型侧做系统性压缩与重构。本章围绕四个核心概念——模型量化、剪枝、知识蒸馏、轻量级网络架构——展开，它们分别从数值精度、结构稀疏性、知识迁移和算子设计四个维度解决“模型太大、算力不够、内存不足”的工程矛盾。理解这些概念的内在逻辑与适用边界，是设计电池供电设备推理任务的前提。

TinyML 模型压缩与轻量化技术全景 TinyML 推理任务 电池供电 · MCU级 · 实时性 模型量化 数值精度压缩 INT8/INT16/混合 结构化剪枝 通道/滤波器剔除 稀疏化加速 知识蒸馏 教师-学生网络 软标签迁移 轻量级架构 MobileNet/DS-CNN 深度可分离卷积 约束条件：Flash ≤ 1MB · RAM ≤ 256KB · 功耗 ≤ 10mW 组合使用：量化 + 剪枝 + 蒸馏 + 轻量架构协同优化

上图展示了四个核心概念在 TinyML 推理任务中的协同关系。实际工程中，它们并非孤立使用，而是按“先架构选型、再蒸馏压缩、后量化部署、最后剪枝调优”的路径组合落地。下面逐一深入拆解每个概念的原理、操作方法和工程陷阱。

3.1 模型量化：从 FP32 到 INT8 的精度-功耗权衡

核心原理

量化是将神经网络中的权重和激活值从 32 位浮点数（FP32）映射到低比特整数（如 INT8、INT16）的过程。其数学本质是仿射变换：q = round(r / scale) + zero_point，其中 r 为原始浮点值，scale 为缩放因子，zero_point 为零点偏移。量化后模型体积减少 4 倍，且整数运算在 ARM Cortex-M 系列内核上可通过 DSP 指令加速，推理功耗可降低 50%-70%。

判断方法与操作流程

选择量化方案时，需根据硬件支持的指令集和精度敏感度决定：

量化类型精度损失硬件要求适用场景
动态范围量化低（1%-3%）仅权重量化，运行时激活反量化原型验证、存储受限
全整型量化（INT8）中（3%-8%）需要校准数据集，支持整数内核MCU 部署、电池供电设备
混合精度量化可调需要自动化搜索工具敏感层保留 FP16，非敏感层 INT8

操作流程通常为：1) 使用代表性校准数据集（100-500 张）统计激活值分布；2) 计算每层 scale 和 zero_point；3) 将模型转换为 TFLite 或 CMSIS-NN 格式；4) 在目标硬件上验证精度和延迟。

实战场景：某可穿戴 ECG 监测设备使用 1D-CNN 模型（FP32 大小 480KB），部署在 STM32L4 上（Flash 1MB，RAM 128KB）。原始模型无法装入 Flash。采用全整型量化后，模型降至 120KB，推理时间从 85ms 降至 32ms，功耗从 12mW 降至 4.5mW。精度从 97.2% 降至 95.8%，仍满足临床 95% 的阈值要求。
常见误区：不要对所有层统一使用相同量化参数。第一层和最后一层对输入输出分布敏感，建议保留 FP16 或使用更高比特。另外，量化校准数据集必须覆盖真实部署场景的输入分布，否则会出现“校准集精度高、实际场景精度崩”的问题。

3.2 剪枝：剔除冗余连接与通道

核心原理

剪枝基于神经网络的高度过参数化特性——大量权重接近零或对输出贡献微弱。非结构化剪枝将单个权重置零，产生稀疏矩阵，但需要特殊硬件支持；结构化剪枝直接移除整个滤波器或通道，使模型宽度变小，可直接在标准推理引擎上获得加速。

判断方法与操作流程

选择剪枝策略时，需评估硬件是否支持稀疏计算：

  • 非结构化剪枝：适合 GPU/TPU 等支持稀疏张量加速的平台，压缩率高但 MCU 上无法直接提速。
  • 通道剪枝：适合 MCU，通过 L1 范数或 BN 层缩放因子评估通道重要性，直接裁剪通道维度。
  • 迭代剪枝：剪枝-微调循环进行，每次剪掉 10%-20%，避免一次性大幅剪枝导致精度崩溃。
# 伪代码：基于 BN 层缩放因子的通道剪枝
for epoch in range(iterative_rounds):
    train_with_sparsity_regularization(model, lambda=1e-4)
    importance = get_bn_gamma_values(model)
    threshold = percentile(importance, 30)  # 剪掉30%低重要性通道
    prune_channels(model, threshold)
    fine_tune(model, epochs=10)
经验提醒：剪枝比例并非越高越好。当剪枝率超过 50% 时，精度往往呈指数下降。建议从 20% 开始，每次增加 10%，并观察验证集精度变化曲线。若精度下降超过 2%，回退到上一轮剪枝结果。

案例拆解

某智能门锁的人脸识别模型（MobileNetV2 基础，FP32 大小 13.5MB）需部署到 2MB Flash 的 MCU 上。初始量化后仍有 3.4MB，超出限制。采用通道剪枝：首先对 BN 层 gamma 值排序，发现最后 40% 的通道贡献仅占 12% 的激活信息。分三轮剪枝（每轮剪 15%），配合微调，最终模型降至 1.8MB，精度从 98.1% 降至 96.3%，但误识别率仍低于 0.5% 的安全标准。推理功耗从 28mW 降至 11mW，电池续航从 3 个月延长至 8 个月。

3.3 知识蒸馏：用小模型学习大模型的“暗知识”

核心原理

知识蒸馏通过让小型学生网络学习大型教师网络的输出分布（软标签），而非仅学习硬标签。软标签包含类别间的相似性信息（例如“猫”和“狗”的概率分布），这种“暗知识”能帮助学生网络在更小参数量的情况下逼近教师网络的泛化能力。蒸馏损失函数为：L = α * L_hard + (1-α) * L_soft，其中 L_soft 使用温度参数 T 软化概率分布。

操作流程与关键参数

  1. 训练教师网络：使用完整数据集训练大模型（如 ResNet50），获得高精度教师。
  2. 生成软标签：用温度 T=3~5 对教师输出进行软化，保留类间关系。
  3. 训练学生网络：学生网络同时优化硬标签交叉熵和软标签 KL 散度。
  4. 温度退火：训练后期逐渐降低 T 至 1，让学生从“模糊学习”过渡到“精确学习”。
参数推荐值影响
温度 T3-5T 越大，软标签分布越平滑，类间信息越丰富
权重 α0.7-0.9α 越大，越依赖教师软标签
学生网络结构教师参数量的 1/10~1/20过小则无法容纳知识，过大则失去压缩意义
实战场景：工业振动传感器需在 1ms 内完成故障分类。教师网络为 ResNet18（11M 参数），学生网络为 3 层 DS-CNN（0.3M 参数）。仅用硬标签训练学生精度为 91.2%，使用蒸馏后提升至 96.5%，接近教师网络的 97.8%。关键点在于教师网络在 2000Hz 采样数据上能捕捉到微弱的谐波特征，这些特征通过软标签传递给了学生网络。
常见误区：蒸馏不是万能的。如果教师网络本身精度不高（<90%），蒸馏反而会传递错误知识。另外，学生网络结构应与任务复杂度匹配，不能盲目追求极小模型。对于时序信号任务，建议学生网络保留至少 2 层卷积以提取局部时序特征。

3.4 轻量级网络架构：面向 MCU 的算子设计

核心原理

轻量级网络架构从算子层面减少计算量和参数量。MobileNet 系列的核心是深度可分离卷积（Depthwise Separable Convolution），将标准卷积分解为深度卷积（Depthwise）和逐点卷积（Pointwise），计算量降低 8-9 倍。TinyML 专用模型（如 DS-CNN、MicroNets）进一步优化，使用 1D 卷积适配传感器时序数据，并减少层数至 3-5 层。

架构选型对比

架构参数量MCU 推理内存适合任务
MobileNetV14.2M~300KB图像分类（需裁剪）
MobileNetV23.4M~250KB图像+倒残差结构
DS-CNN (1D)80K-500K30-80KB语音/振动/ECG 时序
MicroNets20K-200K10-50KB极低功耗唤醒词

工程落地要点

  • 算子支持：确认所选架构的算子（如深度卷积、H-swish）是否被 CMSIS-NN 或 TensorFlow Lite Micro 支持。
  • 内存复用：轻量架构常配合内存规划工具（如 TFLite Memory Planner）复用中间张量缓冲区。
  • 量化友好性：ReLU6 和 Hard-Swish 等激活函数对 INT8 量化更友好，避免精度损失。
经验总结：在 MCU 上，模型参数量并非唯一瓶颈，中间激活值的内存占用往往更大。例如 MobileNetV2 的倒残差结构在 224x224 输入下，中间张量可达 1.5MB，远超 MCU RAM。因此，选择架构时必须同时考虑输入分辨率和中间层通道数，必要时降低输入尺寸（如从 224 降至 96）以换取内存空间。

3.5 四者协同：一个完整的 TinyML 优化闭环

实际项目中，量化、剪枝、蒸馏和轻量架构需要组合使用。推荐流程为：1) 根据任务选择轻量架构作为学生网络基础；2) 使用知识蒸馏从大模型迁移知识；3) 对蒸馏后的模型进行通道剪枝，移除冗余滤波器；4) 最后进行全整型量化部署。每一步都需要在目标硬件上验证精度和功耗，形成反馈回路。

完整案例：某农业物联网土壤传感器需每 10 分钟进行一次病虫害分类（5 类），使用太阳能+电池供电。初始方案：ResNet18 模型，FP32 大小 45MB，功耗 120mW，无法满足 10mW 预算。优化链路：① 改用 MobileNetV2 作为学生网络（参数量 2.2M）；② 用 ResNet18 作为教师进行蒸馏，精度从 88% 提升至 93%；③ 通道剪枝 35%，参数量降至 1.4M；④ INT8 量化后模型大小 350KB，推理内存 45KB。最终部署在 STM32U5 上，功耗 6.8mW，单次推理 18ms，满足 10 分钟周期的功耗预算。电池续航从 2 周延长至 6 个月。
风险提示：每一步优化都可能引入精度损失，建议在每步后设置精度阈值（如下降不超过 2%）。若某步损失过大，需回退并调整参数。另外，量化与剪枝的顺序会影响最终效果——先剪枝再量化通常优于先量化再剪枝，因为剪枝后的模型分布更集中，量化误差更小。

总结而言，四个核心概念构成了 TinyML 模型优化的完整工具箱。量化解决数值表示问题，剪枝解决结构冗余问题，蒸馏解决小模型容量不足问题，轻量架构解决算子效率问题。在电池供电设备的推理任务设计中，需要根据硬件约束、任务复杂度和精度要求，灵活组合这些技术，并通过迭代验证找到最优平衡点。

← 上一章 📖 返回目录 下一章 →