4. 硬件平台概览
TinyML 的核心目标是在功耗、成本、体积都受限的嵌入式设备上完成模型推理。因此,硬件平台的选择直接决定了模型规模、推理延迟、功耗预算和开发周期。工业传感器场景中常见的计算单元包括 MCU、NPU、DSP 和 FPGA,它们并不是互相替代的关系,而是分别承担控制、通用计算、信号处理、并行加速等不同职责。理解这些单元的定位,是选型的第一步。
一、四类计算单元的核心定位
MCU(微控制器)是 TinyML 最常见的承载平台。它集成 CPU 内核、Flash、SRAM、定时器、ADC、I²C、SPI、UART 等外设,擅长低功耗周期采样、设备控制和轻量推理。典型内核如 Arm Cortex-M0+/M4/M7、RISC-V 等。MCU 的优势是成本低、生态成熟、实时性好;劣势是算力有限,通常只能运行几十 KB 到几百 KB 的量化模型。
NPU(神经网络处理单元)是专门为矩阵乘加、卷积、激活等神经网络算子设计的加速器。它可以在极低功耗下提供远高于通用 MCU 的 MAC 吞吐量,适合关键词识别、视觉检测、振动异常分类等持续推理任务。NPU 通常以协处理器形式与 MCU 或应用处理器配合,由 CPU 负责调度和数据搬运。
DSP(数字信号处理器)擅长 FIR/IIR 滤波、FFT、频谱分析、定点乘加等信号处理任务。工业传感器数据往往先经过 DSP 做去噪、特征提取,再送入模型推理。部分 MCU 内置 DSP 扩展指令(如 Cortex-M4/M7 的 SIMD、MAC 指令),可在不增加独立芯片的情况下完成中等强度的信号处理。
FPGA(现场可编程门阵列)通过可编程逻辑实现真正的并行流水线,适合超低延迟、多通道同步采样、自定义数据通路的场景。FPGA 可以把特征提取和神经网络推理都映射为硬件电路,延迟可做到微秒级甚至更低,但开发门槛高、功耗和成本相对较高,通常用于高端工业检测或原型验证。
二、典型 TinyML 开发板选型对比
开发板是硬件平台的落地形态。选型时不能只看主频和算力,还要综合模型框架支持、内存、功耗、传感器接口、量产成本和社区生态。下表列出工业 TinyML 场景中常见的几类开发板。
| 开发板 | 核心计算单元 | 典型算力/内存 | 适用场景 | 选型注意点 |
|---|---|---|---|---|
| Arduino Nano 33 BLE Sense | Cortex-M4F MCU | 64 MHz,256 KB Flash,1 MB RAM | 振动、声音、手势入门实验 | 板载多传感器,适合快速验证 |
| STM32H7 系列 | Cortex-M7 + DSP/FPU | 480 MHz,2 MB Flash,1 MB RAM | 中高频信号处理 + 轻量推理 | 需外接传感器,生态成熟 |
| ESP32-S3 | 双核 LX7 + 向量指令 | 240 MHz,512 KB SRAM,Wi-Fi/BLE | 无线传感节点、语音唤醒 | 适合联网场景,功耗需优化 |
| Kendryte K210 | RISC-V + NPU | 1 TOPS 级 NPU,8 MB SRAM | 视觉检测、图像分类 | 工具链相对独立,需适配 |
| OpenMV Cam | MCU + 图像处理加速 | 面向机器视觉优化 | 工业视觉原型、缺陷检测 | 成本高于通用 MCU |
| Lattice iCE40 / ECP5 | FPGA 逻辑阵列 | 可编程逻辑 + DSP 块 | 超低延迟、多通道同步采集 | 开发周期长,需硬件描述语言 |
三、选型方法与流程
工业 TinyML 选型建议按以下顺序推进,避免一开始就陷入“算力越大越好”的误区。
- 明确任务指标:推理延迟、采样率、模型大小、功耗预算、工作温度范围、是否需要无线通信。
- 估算模型资源:用训练框架导出模型后,统计参数量、激活值峰值内存、MAC 数量,判断是否能在目标 MCU 上运行。
- 判断是否需要加速器:若模型超过 MCU 内存或延迟不达标,再考虑 NPU、DSP 或 FPGA。
- 验证工具链:确认 TensorFlow Lite Micro、ONNX Runtime、厂商 SDK 是否支持目标芯片的量化与算子。
- 做功耗与成本核算:评估电池寿命、散热、BOM 成本,必要时降采样或降低模型复杂度。
关键判断:如果模型是关键词识别或简单振动分类,Cortex-M4F 级别的 MCU 通常足够;如果是图像分类或持续高帧率推理,应优先考虑带 NPU 的平台;如果延迟要求进入微秒级,FPGA 才是合理选择。
四、案例:电机振动异常检测的硬件选型
某工业现场需要对电机振动进行实时异常检测,采样率 8 kHz,三轴加速度计,要求推理延迟低于 20 ms,设备由电池供电,预期续航 6 个月。团队最初选择高性能 Cortex-M7 开发板,但实测功耗偏高,且模型只有 48 KB,远未用满算力。
复盘后改为 Cortex-M4F MCU + CMSIS-DSP 方案:先用 DSP 指令完成 FFT 和频带能量特征提取,再运行一个 32 KB 的量化神经网络分类器。最终推理延迟约 8 ms,平均功耗降到原来的三分之一。这个案例说明,选型的关键不是堆算力,而是让计算单元与任务特征匹配。
典型资源估算示例(Cortex-M4F @ 80 MHz):
模型参数量:约 12 K
峰值内存:约 32 KB
单次推理 MAC:约 1.2 M
估算推理时间:1.2 M / (80 M × 0.8) ≈ 18.75 ms
结论:接近 20 ms 上限,需优化算子或提高主频
五、常见误区与复盘
- 误区一:只看主频。主频高不代表推理快,内存带宽、缓存、算子支持同样关键。
- 误区二:忽略内存瓶颈。很多模型不是算不动,而是激活值放不下,导致频繁换页或无法部署。
- 误区三:忽视工具链。芯片算力再强,如果量化算子不支持,模型也无法落地。
- 误区四:过早引入 FPGA。FPGA 适合延迟极敏感场景,但开发和维护成本高,普通任务用 MCU+NPU 更划算。
- 误区五:忽略功耗实测。数据手册功耗与真实工况差异大,必须用实际模型和采样率测量。
选型时建议先做“最小可行平台”验证:用一块通用 MCU 开发板跑通数据采集、特征提取和模型推理全链路,再根据瓶颈决定是否升级到 NPU、DSP 或 FPGA。这样能避免过度设计,也能更早暴露工具链和内存问题。
总体来看,MCU 是 TinyML 的默认起点,DSP 负责信号处理,NPU 提供神经网络加速,FPGA 面向超低延迟和高度定制化场景。工业传感器项目应围绕模型规模、延迟、功耗、成本和工具链五个维度综合权衡,选择最匹配的计算平台,而不是盲目追求最高算力。