2. TinyML基础回顾

TinyML 的核心挑战在于：如何在仅有数百 KB 内存、数十 MHz 主频的微控制器（MCU）上，部署原本需要数 GB 存储和数瓦功耗的深度神经网络。模型压缩技术正是解决这一矛盾的钥匙。然而，压缩并非无损的“白嫖”——每一项技术都会在模型内部引入信息损失或结构改变，这些改变直接影响模型的鲁棒性、可解释性和攻击面。本章将系统梳理四种主流压缩技术（量化、剪枝、知识蒸馏、低秩分解）的数学原理与工程实现，并重点剖析它们对安全性的双向影响：一方面，压缩可能削弱模型对对抗样本的抵抗力；另一方面，某些压缩操作反而能天然过滤部分高频噪声，提升鲁棒性。理解这些权衡，是构建可信 TinyML 设备的基石。

上图展示了四种压缩技术从原始模型到压缩后模型的转化路径，以及它们对安全性的最终影响。值得注意的是，压缩过程并非简单的“瘦身”，而是对模型决策边界的一次隐性重塑。下面我们逐一深入分析。

2.1 量化：精度换效率的“双刃剑”

核心原理

量化是将连续浮点数值映射到有限离散整数集合的过程。在 TinyML 中，最常用的是线性均匀量化，其数学表示为：

r = S * (q - Z)

其中，r 为原始浮点值，q 为量化后的整数值，S（scale）为缩放因子，Z（zero point）为零点偏移。训练后量化（PTQ）直接使用校准数据集统计激活值范围，无需反向传播；量化感知训练（QAT）则在训练过程中模拟量化误差，使模型权重自适应调整。

判断方法与操作流程

选择 PTQ 还是 QAT，取决于精度损失容忍度：

• PTQ 适用场景：模型较大（>100KB）、部署周期短、精度损失 <2% 可接受。操作流程：收集 500-1000 张代表性校准图片 → 统计每层激活值 min/max → 计算 S 和 Z → 转换权重为 INT8 → 验证精度。
• QAT 适用场景：模型对精度敏感（如医疗、工业控制）、PTQ 后精度下降 >5%。操作流程：在预训练模型基础上插入伪量化节点 → 使用小学习率（1e-4）微调 3-5 个 epoch → 冻结量化参数 → 导出 INT8 模型。

案例拆解：关键词唤醒（KWS）模型的 INT8 量化

某智能音箱项目需将 12 层 CNN 的 KWS 模型（FP32 大小 2.3MB）部署到 Cortex-M4 平台（Flash 512KB，RAM 128KB）。初始 PTQ 后精度从 94.2% 降至 91.8%，且出现“误唤醒”现象——对背景音乐中的相似音节产生误触发。分析发现，第 5 层激活值分布存在长尾（max=12.7，但 99.9% 数据集中在 [-2, 2]），导致量化步长过大。解决方案：改用逐通道量化（per-channel）而非逐张量量化（per-tensor），并将校准集扩充至包含 2000 条带噪语音。最终精度恢复至 93.5%，模型大小降至 580KB，推理速度提升 3.2 倍。但代价是 Flash 占用增加了 12KB（用于存储每通道的 scale 和 zero point）。

常见误区

• 误区一：认为 PTQ 无需任何数据。实际上，校准集必须覆盖真实部署场景的数据分布，否则激活值范围估计偏差极大。
• 误区二：忽略“混合精度”的可能性。对于某些敏感层（如第一层和最后一层），可以保留 FP16 或 FP32，其余层用 INT8，这往往能兼顾精度与效率。

2.2 剪枝：结构性稀疏与安全性权衡

核心原理

剪枝通过移除不重要的权重或神经元来减少模型复杂度。非结构化剪枝（权重级）产生稀疏矩阵，需要专用硬件或库支持；结构化剪枝（通道/滤波器级）保持矩阵稠密，更适合 MCU 上的标准卷积加速器。重要性判断通常基于权重值（L1/L2 范数）或梯度信息。

判断方法与操作流程

案例拆解：人体活动识别（HAR）模型的通道剪枝

可穿戴设备上的 HAR 模型（6 层 CNN，输入 3 轴加速度计数据）需将 RAM 占用从 80KB 降至 40KB 以下。采用基于 BN 层缩放因子的通道剪枝（Learning Efficient Convolutional Networks 方法）：训练时对 BN 的 gamma 参数施加 L1 正则化，剪枝时移除 gamma < 0.01 的通道。初始模型精度 91.5%，剪枝 50% 通道后精度降至 88.2%。进一步分析发现，被剪掉的通道中有 3 个对“上下楼梯”类别贡献显著。通过微调（学习率 1e-3，10 个 epoch），精度恢复至 90.1%。但安全测试显示，剪枝后模型对“传感器数据中加入 0.5g 恒定偏移”的故障注入更加敏感——因为冗余通道原本提供了部分容错能力。

常见误区

• 误区一：只关注剪枝率，不关注实际推理速度。在 MCU 上，非结构化剪枝若无硬件支持，推理速度可能不升反降。
• 误区二：忽略剪枝对模型校准（Calibration）的影响。剪枝后模型输出的置信度分布会改变，可能导致原有的不确定性阈值失效。

2.3 知识蒸馏：从“教师”到“学生”的知识迁移

核心原理

知识蒸馏（KD）让一个小模型（学生）学习大模型（教师）的软输出（Softmax 概率分布），而非仅学习硬标签。软标签包含类别间的相似性信息（例如“猫”和“狗”的概率都比“汽车”高），这相当于一种正则化，帮助学生模型学到更平滑的决策边界。温度参数 T 控制软标签的平滑程度：T 越高，分布越均匀，蕴含的“暗知识”越多。

判断方法与操作流程

KD 并非适用于所有场景。当教师模型与学生模型结构差异过大（如 CNN 教师 → LSTM 学生）时，知识迁移效率极低。操作流程：

1. 训练或获取一个高精度教师模型（FP32，大容量）。
2. 设计学生模型架构（通常为教师模型的 1/5-1/10 参数量）。
3. 使用温度 T=4 的软标签 + 硬标签联合训练学生模型，损失函数为 L = α * L_soft + (1-α) * L_hard，α 通常取 0.7。
4. 蒸馏后，可进一步对学生模型进行 PTQ 量化，实现“蒸馏+量化”双重压缩。

案例拆解：视觉唤醒词（Visual Wake Word）的蒸馏实践

某智能门铃需在 MCU 上实时检测“是否有人”并触发抓拍。教师模型为 MobileNetV2（FP32，4.2MB），学生模型为 3 层深度可分离卷积网络（FP32，180KB）。直接训练学生模型精度仅 82.3%，使用 KD 后提升至 89.7%（教师精度 94.1%）。关键参数：T=5，α=0.8，蒸馏训练 20 个 epoch。安全测试发现，蒸馏后的学生模型对“光照突变”的鲁棒性优于直接训练的学生模型——因为软标签提供了更丰富的上下文信息。但蒸馏模型对“对抗贴纸”（物理世界攻击）的抵抗力并未显著提升，仍需额外的对抗训练。

常见误区

• 误区一：认为蒸馏后的模型一定比直接训练的小模型更安全。实际上，蒸馏可能放大教师模型的偏见或漏洞。
• 误区二：忽略温度 T 的调节。T 过低（<2）软标签接近硬标签，失去蒸馏意义；T 过高（>10）软标签过于平滑，学生模型难以收敛。

2.4 低秩分解与综合对比

核心原理

低秩分解将权重矩阵 W（m×n）近似为两个小矩阵的乘积 W ≈ U·V（U 为 m×r，V 为 r×n，r << min(m,n)）。SVD 是最常用的方法。在 TinyML 中，低秩分解通常用于全连接层或 1×1 卷积层，对标准卷积层的加速效果有限。

判断方法与操作流程

判断是否适合低秩分解：计算权重矩阵的奇异值谱，若前 r 个奇异值之和占总能量的 90% 以上，则适合分解。操作流程：

import numpy as np
# 假设 W 为权重矩阵 (m, n)
U, S, Vt = np.linalg.svd(W, full_matrices=False)
# 保留前 r 个奇异值
r = 20  # 根据能量阈值确定
U_r = U[:, :r]
S_r = S[:r]
Vt_r = Vt[:r, :]
# 重构近似矩阵
W_approx = U_r @ np.diag(S_r) @ Vt_r

综合对比与安全影响总结

常见误区与总结复盘

• 误区一：将四种技术视为互斥选项。实际工程中，最佳实践是“蒸馏 + 剪枝 + 量化”的组合流水线：先蒸馏缩小模型容量，再结构化剪枝去除冗余通道，最后量化到 INT8。
• 误区二：忽视压缩对模型可解释性的影响。量化后的 INT8 权重难以直接可视化，剪枝后的稀疏结构破坏了原有的特征图语义。对于需要安全审计的部署场景，建议保留一份 FP32 原始模型作为“解释代理”。