2、TinyML基础：TinyML定义、边缘计算与嵌入式机器学习的关系、典型硬件平台（MCU、NPU、DSP）及资源约束
TinyML是机器学习与嵌入式系统交叉融合的前沿领域，其核心目标是在功耗受限、计算资源有限的微控制器（MCU）及边缘设备上部署和运行机器学习模型。理解TinyML的定义边界、与边缘计算的关系、典型硬件平台特性以及资源约束，是进行振动异常检测模型部署延迟优化的前提。本章将从概念、架构、硬件和工程约束四个维度展开，为后续的延迟实测与优化奠定理论基础。
2.1 TinyML 定义与核心特征
TinyML（Tiny Machine Learning）是指在极低功耗、极小体积的嵌入式设备上实现机器学习推理的技术体系。根据TinyML基金会（TinyML Foundation）的定义，TinyML是"在功耗受限的嵌入式设备上，对传感器数据进行本地化机器学习处理的技术与方法"。其核心特征包括：模型体积通常在几十KB到几百KB之间，推理功耗控制在毫瓦级，端到端延迟要求达到毫秒级响应，且支持离线运行。
关键理解：TinyML并非简单地将深度学习模型压缩后塞入MCU，而是从硬件指令集、内存层次、数据精度、算法结构四个层面进行协同设计。例如，在振动异常检测场景中，一个典型的1D-CNN模型在Cortex-M4上运行，若不做优化，单次推理可能需要200ms以上；而经过INT8量化、算子融合和DSP指令加速后，可压缩至15ms以内，功耗降低约80%。
2.2 边缘计算与嵌入式机器学习的关系
边缘计算（Edge Computing）是一种分布式计算范式，将数据处理能力下沉到网络边缘。嵌入式机器学习（Embedded ML）是边缘计算在设备端的实现形式。两者关系可概括为：边缘计算是战略框架，嵌入式机器学习是战术实现。边缘计算强调"数据在源头处理"，而嵌入式机器学习提供了具体的算法和硬件支撑。
| 维度 | 边缘计算 | 嵌入式机器学习（TinyML） |
|---|---|---|
| 计算位置 | 边缘节点（网关、路由器、设备） | 终端MCU/传感器节点 |
| 硬件平台 | x86/ARM Cortex-A系列 | Cortex-M/R系列、RISC-V |
| 操作系统 | Linux、Windows IoT | RTOS（FreeRTOS、Zephyr）或裸机 |
| 模型规模 | 数十MB至数百MB | 数十KB至数百KB |
| 典型延迟 | 10-100ms | 1-50ms |
| 功耗预算 | 数瓦至数十瓦 | 1-100mW |
在振动异常检测场景中，边缘计算与TinyML的分工通常为：MCU端负责高频采样（如10kHz）和轻量级特征提取（如RMS、峰值因子），边缘网关负责运行稍复杂的分类模型（如随机森林或小型LSTM），云端则进行模型训练和全局优化。这种分层架构既保证了实时性，又降低了网络带宽压力。
2.3 典型硬件平台：MCU、NPU、DSP
振动异常检测对硬件平台的选择直接影响延迟表现。当前主流平台分为三类：
2.3.1 MCU（微控制器）
MCU是TinyML最基础的载体，典型代表包括ARM Cortex-M0+/M4/M7、RISC-V架构的ESP32-C3等。以STM32F746（Cortex-M7 @ 216MHz）为例，其具备双精度FPU和DSP指令集，支持SIMD（单指令多数据）操作。在振动检测中，MCU的优势在于外设丰富（多通道ADC、定时器、DMA），劣势在于算力有限——运行2D卷积时，MAC（乘加运算）吞吐量通常只有几十到几百MMAC/s。
2.3.2 DSP（数字信号处理器）
DSP针对信号处理算法优化，如TI C6000系列、CEVA-XM系列。在MCU中，ARM的CMSIS-DSP库提供了优化的FFT、FIR、矩阵运算函数。对于振动信号，FFT变换是频域特征提取的核心操作。在Cortex-M4上，使用CMSIS-DSP的1024点FFT仅需约0.5ms（168MHz主频），而纯C语言实现需要3ms以上。DSP指令集（如饱和运算、循环寻址）能显著加速特征提取阶段。
2.3.3 NPU（神经网络处理单元）
NPU是专为神经网络推理设计的加速器，如STM32N6系列集成的Neural-ART加速器、NXP i.MX RT1170的eIQ Neutron NPU。NPU支持硬件级卷积、池化、激活函数计算，能效比可达MCU的10-50倍。但NPU通常需要外部SDRAM存储权重，且对模型结构有约束（如仅支持特定算子）。在振动检测中，若模型以1D-CNN为主，NPU可将推理延迟从数十毫秒降至2-3ms。
| 平台类型 | 代表芯片 | 算力 | 功耗 | 适用场景 |
|---|---|---|---|---|
| MCU | STM32F4/F7、RP2040 | 100-500 MMAC/s | 10-100 mW | 轻量级模型、特征提取 |
| MCU+DSP | STM32H7、i.MX RT | 500-2000 MMAC/s | 100-300 mW | 实时FFT、中等CNN |
| MCU+NPU | STM32N6、i.MX 8M Plus | 1-4 TOPS | 0.5-2 W | 复杂CNN、Transformer |
2.4 资源约束与延迟优化策略
振动异常检测模型部署面临四大资源约束：存储空间、内存带宽、计算能力、功耗预算。这些约束相互耦合，例如增加Flash存储模型参数会占用更多空间，但可能减少内存拷贝；提高主频会降低延迟但增加功耗。
2.4.1 存储约束
以128KB SRAM的MCU为例，一个输入长度为256的1D-CNN模型，若使用float32存储权重，第一层卷积（32个3x1卷积核）就需要32×3×4=384字节，而全连接层（128→64）需要128×64×4=32KB。因此，必须采用INT8量化（存储减少4倍）或权重共享技术。在振动检测中，模型通常控制在50KB以内，以保证固件升级和OTA的可行性。
2.4.2 计算约束与延迟预算
振动异常检测的实时性要求通常为：从传感器采样到输出告警的端到端延迟不超过50ms。以10kHz采样率、256点窗口（25.6ms）为例，留给推理的时间仅约20ms。这意味着模型推理必须在20ms内完成。若使用Cortex-M4 @ 168MHz，单周期执行2次MAC，则20ms内可执行约6.7M次MAC。一个典型的1D-CNN（3层卷积+2层全连接）需要约2M MAC，理论上可行，但需考虑内存访问开销和分支预测损失。
常见误区：许多开发者只关注模型FLOPs（浮点运算次数），却忽略了内存访问延迟。在MCU上，一次SRAM访问需要2-3个时钟周期，而Flash访问需要5-10个周期（带缓存）。如果模型权重存储在Flash中，频繁的权重读取会成为瓶颈。实测表明，在Cortex-M4上，内存访问时间占总推理时间的40%-60%。因此，优化数据布局（如将权重放入DTCM RAM）比单纯减少FLOPs更有效。
2.4.3 功耗约束与延迟的权衡
电池供电的振动传感器节点通常要求平均功耗低于1mW。若MCU在168MHz全速运行，功耗约50mW，则只能运行20ms/s（即2%占空比）。这意味着推理延迟必须压缩到极短时间，以便MCU尽快进入低功耗模式。例如，若推理延迟为10ms，则每秒可执行2次推理（20ms），剩余980ms处于睡眠模式（功耗约10μA），平均功耗可控制在1mW以内。
2.5 案例拆解：某风机振动监测节点的硬件选型与延迟预算
背景与约束：某工业风机需部署无线振动监测节点，要求：① 采样率10kHz，每256点计算一次特征；② 检测轴承故障（内圈、外圈、滚动体）；③ 电池供电（2节AA电池），目标续航6个月；④ 端到端延迟≤50ms。
初始方案与问题：选用STM32F103（Cortex-M3 @ 72MHz），使用float32模型（3层1D-CNN，约1.5M MAC）。实测推理延迟为85ms，超出预算；且平均功耗达3.2mW，续航仅1.8个月。
分析与优化过程：
- 硬件升级：更换为STM32F411（Cortex-M4 @ 100MHz），利用FPU和DSP指令，FFT计算时间从4.2ms降至1.1ms。
- 模型量化：将float32模型转为INT8，权重从6MB压缩至1.5MB（实际模型仅需32KB），推理延迟从85ms降至32ms。
- 算子融合：将Conv+ReLU+MaxPool融合为单一算子，减少内存读写次数，延迟进一步降至21ms。
- 功耗优化：推理完成后立即进入STOP模式（功耗2μA），仅在采样期间唤醒。平均功耗降至0.8mW。
结果对比：
| 指标 | 优化前 | 优化后 | 提升幅度 |
|---|---|---|---|
| 推理延迟 | 85ms | 21ms | 75%↓ |
| 平均功耗 | 3.2mW | 0.8mW | 75%↓ |
| 预计续航 | 1.8个月 | 7.2个月 | 4倍↑ |
| 模型精度 | 97.2% | 96.8% | 0.4%↓（可接受） |
复盘经验：延迟优化不能仅看模型计算量，需从硬件特性（FPU/DSP/NPU）、数据精度（INT8/INT16）、内存层次（TCM/SRAM/Flash）三个维度协同优化。在本案例中，硬件升级贡献了40%的延迟改善，量化贡献了35%，算子融合贡献了25%。此外，功耗优化与延迟优化是正相关的——推理越快，MCU越早进入睡眠，平均功耗越低。
工程建议：在项目初期，应使用性能分析工具（如STM32CubeMonitor、Arm Keil MDK的Event Recorder）测量各阶段耗时（采样、特征提取、推理、通信），建立延迟预算表。通常建议：采样+特征提取占30%，推理占50%，通信和协议开销占20%。若推理占比过高，优先考虑模型压缩；若采样占比过高，则优化DMA配置和ADC采样策略。
2.6 常见误区与总结
误区一：认为TinyML只能在高端MCU上运行。实际上，Cortex-M0+（如RP2040）也能运行经过极简化的决策树或逻辑回归模型，适用于简单的阈值判断。关键在于模型复杂度与硬件算力的匹配。
误区二：忽视内存带宽瓶颈。许多开发者只关注算力，但MCU的哈佛架构下，指令和数据总线分离，若权重存储在Flash中，每次读取需等待Flash访问周期。使用SRAM缓存权重或采用DMA传输可有效缓解。
误区三：将PC端模型直接部署到MCU。PC端模型通常使用float32和复杂结构（如BatchNorm、Dropout），直接部署会导致内存溢出。必须经过量化、剪枝、算子替换（如将BatchNorm融合到卷积层）等步骤。
误区四：忽略功耗与延迟的联合优化。延迟优化不仅是为了实时性，更是为了降低平均功耗。在电池供电场景中，应追求"最小化活跃时间"，而非单纯追求最低峰值功耗。