2、TinyML基础回顾：端侧AI的约束条件、典型应用场景与传统ML差异
TinyML（微型机器学习）是指在极低功耗、极小内存和有限算力的嵌入式设备上运行机器学习模型的技术体系。与云端AI或传统嵌入式规则逻辑不同，TinyML必须在资源极度受限的硬件上完成数据采集、特征提取、推理决策甚至在线更新。理解端侧AI的约束条件，是设计可复用工程骨架的前提——因为骨架的每一层（数据管道、模型部署、运行时调度、功耗管理）都是围绕这些约束展开的。本章从硬件约束、应用场景和与传统ML的差异三个维度，建立TinyML工程化的底层认知框架。
2.1 端侧AI的三大硬约束：内存、功耗与算力
TinyML工程骨架的设计起点，不是模型精度，而是硬件资源预算。以典型的ARM Cortex-M4/M7或RISC-V MCU为例，其SRAM通常在16KB到512KB之间，Flash在256KB到2MB之间，主频在80MHz到480MHz之间。这意味着一个完整的TinyML系统必须将模型权重、中间激活值、运行时缓冲区、传感器数据队列全部塞进这几十到几百KB的内存中。相比之下，一个ResNet-50模型仅权重就有约100MB，显然无法直接部署。因此，工程骨架必须内置量化、剪枝、内存复用和算子替换机制。
功耗约束更为苛刻。对于纽扣电池供电的传感器节点，平均功耗必须控制在100µW到1mW之间，峰值功耗不超过几十mW。这要求系统采用"事件驱动+深度睡眠"的调度模式：传感器以低频率采样，MCU在无事件时进入睡眠状态（电流可低至1µA以下），仅在需要推理时快速唤醒并完成计算后再次休眠。工程骨架中的任务调度器、外设驱动和电源管理模块必须围绕这一模式设计，而不是像传统RTOS那样以时间片轮转为主。
算力方面，MCU没有向量指令集（部分Cortex-M55/M85支持Helium），没有硬件浮点单元（部分M4F有单精度FPU），整数乘法也需要多个周期。因此，模型推理必须采用定点运算，将浮点权重量化为INT8或INT16。以关键词唤醒模型为例，一个包含约50万参数的DS-CNN模型，在Cortex-M4上以INT8推理，单次推理时间约50-100ms，占用RAM约30KB，Flash约200KB。工程骨架需要提供统一的量化推理接口，并支持算子级性能剖析，以便开发者快速定位瓶颈。
2.2 典型应用场景与数据特征
TinyML的应用场景集中在需要实时响应、数据隐私敏感或网络覆盖不到的边缘设备上。根据数据模态，可分为以下几类：
| 场景类别 | 典型任务 | 传感器/输入 | 模型规模 | 推理频率 |
|---|---|---|---|---|
| 语音/音频 | 关键词唤醒、声学事件检测 | MEMS麦克风 | 50K-500K参数 | 连续/10-50ms窗口 |
| 运动/IMU | 人体活动识别、跌倒检测 | 加速度计/陀螺仪 | 10K-100K参数 | 1-50Hz |
| 视觉 | 物体检测、人员计数 | 低分辨率摄像头（QVGA） | 100K-1M参数 | 1-10fps |
| 工业振动 | 电机异常检测、预测性维护 | 压电/加速度计 | 5K-50K参数 | 1-100Hz |
| 环境感知 | 气体分类、温湿度异常 | 电化学/温湿度传感器 | 1K-10K参数 | 0.1-1Hz |
这些场景的共同数据特征是：时序性强（音频、IMU、振动均为时间序列）、单样本推理（每次只处理一个窗口，不依赖批量数据）、特征局部化（关键信息集中在短时窗口内）。工程骨架的数据管道应针对这些特征设计：采用环形缓冲区管理传感器数据流，支持滑动窗口切片，并提供统一的特征提取接口（如MFCC、FFT、统计特征）。
2.3 与传统ML的差异：从训练到部署的全链路对比
传统机器学习（包括云端深度学习）与TinyML的差异不仅体现在硬件上，更体现在整个工程方法论上。下表从六个关键维度进行对比：
| 对比维度 | 传统ML/云端AI | TinyML | 工程影响 |
|---|---|---|---|
| 模型训练 | GPU集群，FP32，大数据集 | PC/云端训练，量化感知训练 | 骨架需提供量化模拟工具 |
| 模型部署 | 容器/服务，动态加载 | 静态链接，编译期确定 | 骨架需支持模型转C数组 |
| 推理运行时 | 依赖操作系统，多线程 | 裸机/RTOS，单线程事件驱动 | 骨架需提供轻量调度器 |
| 数据流 | 批量读取，ETL管道 | 流式采样，DMA传输 | 骨架需封装传感器驱动 |
| 模型更新 | 热加载新模型文件 | OTA差分升级，需校验 | 骨架需集成引导加载程序 |
| 调试手段 | 日志、可视化、交互式 | JTAG/SWD、串口打印、有限日志 | 骨架需提供轻量日志模块 |
一个容易被忽视的差异是失败模式。云端模型推理失败可以重试或降级，而TinyML设备一旦内存溢出或栈溢出，往往直接死机或复位，且难以远程恢复。因此，工程骨架必须内置看门狗、内存保护（MPU）、异常捕获和状态上报机制。此外，传统ML的数据集可以离线扩充，而TinyML设备部署后数据分布可能漂移（如传感器老化、环境变化），骨架需要支持简单的在线校准或周期性重训练触发。
2.4 案例拆解：电池供电的工业振动监测节点
为具体说明上述约束如何影响工程骨架设计，我们拆解一个真实的工业场景：在工厂电机上部署振动监测节点，用于预测性维护。节点由CR2032纽扣电池供电，要求连续工作6个月以上，每10分钟采集一次振动数据并判断电机状态（正常/异常）。
初始约束与目标：MCU选用STM32L432（Cortex-M4F，80MHz，64KB SRAM，256KB Flash），加速度计为ADXL345（I2C接口，±16g，13位分辨率）。目标：平均功耗低于50µA（约150µW），异常检测准确率≥95%，误报率≤1次/天。
关键参数与设计决策：
- 内存预算：模型权重量化后需≤20KB，激活缓冲区≤8KB，传感器DMA缓冲区4KB，剩余留给系统栈和任务控制块。
- 功耗分解：传感器采样+推理约50ms，平均电流15mA（峰值），深度睡眠电流1.2µA。每10分钟一个周期，占空比=50ms/600s≈0.0083%，平均电流≈15mA×0.000083+1.2µA≈2.45µA，满足50µA预算。
- 模型选择：采用1D-CNN（3层卷积+2层全连接），输入为256点FFT幅值谱，输出为二分类。量化后模型大小18.5KB，单次推理时间约35ms。
实施过程与问题：初版骨架使用FreeRTOS，但发现任务切换开销和定时器功耗偏高（额外增加3µA）。改为裸机事件驱动后，功耗降至2.1µA。另一个问题是ADXL345的I2C读取在DMA模式下偶尔出现数据错位，导致推理结果异常。排查发现是DMA缓冲区未对齐到32字节，修改为对齐分配后问题消失。
结果与复盘：最终系统平均功耗2.3µA，理论电池寿命约2.3年（CR2032容量约220mAh），实际测试6个月电压下降约15%。准确率96.2%，误报率0.3次/天。复盘经验：① 工程骨架的电源管理模块必须支持"采样-推理-睡眠"三段式状态机；② DMA缓冲区的内存对齐是嵌入式ML的常见坑；③ 模型量化后需在目标硬件上重新验证精度，不能只依赖PC端模拟。
2.5 总结：工程骨架的设计原则
综合上述分析，TinyML工程骨架应遵循以下设计原则：
- 资源显式化：所有内存分配在编译期完成，禁止动态malloc；提供内存池和静态分配器。
- 功耗可计算：每个模块（传感器、推理、通信）的功耗可独立测量，骨架提供功耗统计接口。
- 量化优先：默认使用INT8推理，提供量化精度评估工具，必要时支持混合精度。
- 事件驱动：避免轮询和阻塞等待，所有外设操作基于中断或DMA完成回调。
- 可测试性：在PC上模拟硬件接口（通过HAL抽象层），实现"一次编写，两端调试"。