2、TinyML与边缘AI基础：TinyML定义、边缘设备特性、典型应用场景与内存瓶颈概述

TinyML是机器学习与嵌入式物联网系统交叉融合的前沿领域，其核心目标是在功耗受限、计算资源有限、内存容量极小的微控制器（MCU）上部署和运行机器学习模型。与云端AI依赖大规模GPU集群不同，TinyML强调在数据产生的物理位置附近完成推理，从而避免网络传输延迟、保护数据隐私并显著降低能耗。理解TinyML的内存瓶颈，是进行后续模型压缩、算子优化和工程部署的前提。本章将系统梳理TinyML的定义边界、边缘设备的硬件约束、典型应用场景，并重点剖析内存瓶颈的根源与量化方法。

2.1 TinyML的定义与边界

TinyML并非一个严格的学术术语，而是一个工程实践领域的统称。它涵盖了在功耗约束（通常为毫瓦级甚至微瓦级）、物理尺寸受限、成本敏感的嵌入式设备上，实现机器学习推理（有时也包括轻量级训练或增量学习）的整套技术栈。其典型硬件平台是集成ARM Cortex-M系列内核的MCU，例如STM32F4系列、Nordic nRF52系列、以及基于RISC-V架构的替代方案。与运行在手机或树莓派上的"嵌入式AI"不同，TinyML设备通常没有操作系统或仅运行RTOS，内存以KB为单位计量，且往往采用电池供电或能量采集供电。

从技术栈角度看，TinyML涉及模型训练（通常在PC/云端完成）、模型压缩（量化、剪枝、蒸馏）、运行时优化（算子融合、内存规划）以及硬件适配（CMSIS-NN、专用指令集）等多个环节。其核心约束可以概括为"三个有限"：算力有限（通常不具备浮点运算单元或仅支持单精度FP32）、存储有限（Flash和SRAM容量极小）、功耗有限（平均功耗需控制在10mW以下）。这些约束直接决定了模型架构的选择——深度可分离卷积、轻量级注意力机制等结构在TinyML中比标准卷积更受青睐。

2.2 边缘设备特性与内存层次

典型的TinyML边缘设备由MCU、传感器、无线通信模块（BLE、Zigbee、Sub-GHz）和电源管理单元组成。MCU内部通常集成Flash（存储程序代码和模型权重）和SRAM（存储运行时数据）。与PC不同，MCU没有外部DRAM接口（或仅有有限的SDRAM接口），因此所有数据必须容纳在片内SRAM中。以STM32L4系列为例，其SRAM容量为64KB~256KB，Flash为256KB~1MB，而一个MobileNetV1模型（FP32）的权重就高达16MB，显然无法直接部署。

内存层次上，TinyML设备通常只有两级：Flash（非易失）和SRAM（易失）。Flash用于存储模型权重、推理代码和常量表；SRAM用于存储输入数据、中间激活值、输出结果以及运行时栈和堆。部分高端MCU（如STM32H7）具备L1缓存，但大多数低功耗MCU没有缓存，CPU直接访问Flash和SRAM。这意味着内存访问延迟和带宽是固定的，优化重点在于减少数据搬运次数和降低峰值内存占用。

2.3 典型应用场景与内存需求特征

TinyML的应用场景广泛分布在智能家居、工业监测、可穿戴设备、智慧农业等领域。不同场景对内存的需求特征差异显著，理解这些差异有助于针对性地进行优化。

• 关键词唤醒（KWS）：模型通常为小型CNN或DS-CNN，输入为1~3秒的音频特征（MFCC），模型参数量在100K~500K之间。内存瓶颈主要在激活值——音频特征图在时间维度上较大，需要较大的SRAM缓冲区。
• 振动异常检测：使用1D-CNN或LSTM，输入为加速度计/陀螺仪时序数据。模型较小（<100KB），但LSTM的循环状态需要持续占用SRAM，且无法像CNN那样完全静态规划内存。
• 视觉识别（图像分类/物体检测）：输入为QVGA或VGA分辨率的图像，模型为MobileNetV1/V2或EfficientNet-Lite。内存瓶颈显著——第一层卷积的输入图像（如224x224x3）就占用150KB SRAM，加上中间特征图，峰值内存可能超过512KB。
• 预测性维护：结合多传感器数据（温度、电流、振动），使用随机森林或小型MLP。内存需求较低，但需要支持多通道数据融合，对内存带宽有一定要求。

2.4 内存瓶颈的根源与量化分析

内存瓶颈的根源可以归结为三个层面：模型层面（权重和中间张量的固有大小）、框架层面（推理引擎的运行时开销和内存管理策略）、硬件层面（SRAM容量和Flash带宽限制）。在模型层面，卷积层的输出特征图大小由公式 H_out = (H_in - K + 2P)/S + 1 决定，其中K为卷积核大小，P为padding，S为步长。对于224x224输入，第一层卷积（K=3, S=2, P=1）的输出为112x112，若通道数为32，则激活值大小为112x112x32 = 401,408字节 ≈ 392KB，这已经超出了许多MCU的SRAM容量。

框架层面的开销常被忽视。TensorFlow Lite for Microcontrollers (TFLM) 的运行时环境需要为每个算子分配临时缓冲区，且默认使用"贪心"内存规划策略，可能导致内存碎片。此外，算子间的数据依赖要求中间结果必须保留，无法立即释放。硬件层面，Flash的读取速度通常慢于SRAM，如果模型权重存储在Flash中，每次卷积操作都需要从Flash读取权重，这会成为性能瓶颈。

// 内存占用估算示例（伪代码）
// 假设输入: 32x32x3, 第一层Conv2D: 3x3x3x16, stride=1, padding=same
input_size = 32 * 32 * 3 * 2  // 2 bytes per element (INT16)
// = 6144 bytes
conv1_output = 32 * 32 * 16 * 2  // 输出特征图
// = 32768 bytes
weights1 = 3 * 3 * 3 * 16 * 2  // 权重
// = 864 bytes
// 峰值内存 = max(input_size, conv1_output) + weights1 + runtime_overhead
// ≈ 32768 + 864 + 2048 = 35680 bytes ≈ 35KB

为了量化内存瓶颈，工程师需要建立"内存足迹"分析表。下表展示了一个典型KWS模型的内存分解：

2.5 案例拆解：智能门锁的人脸识别内存优化

某智能门锁厂商计划在现有MCU平台（STM32F746，SRAM 320KB，Flash 1MB）上增加人脸识别功能。初始方案直接使用MobileNetV1（alpha=0.25）模型，输入尺寸128x128x3，FP32精度。经评估，模型权重为1.2MB（超出Flash容量），峰值SRAM占用为480KB（超出SRAM容量），无法部署。

分析过程：首先，将模型转换为INT8量化，权重降至300KB，Flash问题解决。但峰值SRAM仍高达420KB，主要瓶颈在第一个深度可分离卷积的输出特征图（64x64x64 = 256KB）。进一步分析发现，后续层的激活值可以复用第一层的内存空间，但TFLM默认的内存规划器未能实现这一点。

优化措施：1) 将输入尺寸从128x128降至96x96，第一层输出变为48x48x64 = 144KB；2) 手动实现内存复用，将不相关的层共享同一缓冲区；3) 将模型中的标准卷积替换为深度可分离卷积，减少中间张量；4) 对激活值使用INT16而非INT32累加，减少临时缓冲区。

结果：优化后，峰值SRAM占用降至198KB，Flash占用为280KB，推理延迟从820ms降至340ms，识别精度仅下降0.7%（从98.2%降至97.5%）。该方案成功部署，且功耗保持在85mW以下。

2.6 常见误区与总结复盘

在TinyML内存优化实践中，工程师常陷入以下误区：误区一：只关注模型权重大小，忽视激活值占用。实际上，对于CNN模型，激活值往往占据SRAM的60%以上。误区二：认为量化必然导致精度大幅下降。通过量化感知训练（QAT），INT8量化通常能将精度损失控制在1%以内。误区三：盲目追求模型小型化，而忽略了运行时开销。一个精简的模型如果搭配臃肿的推理框架，内存占用可能反而更高。误区四：忽视内存对齐和访问模式。非对齐访问会导致额外的总线周期，增加功耗和延迟。