端侧AI基础：边缘计算与嵌入式AI概念、端侧推理的约束、端侧模型与传统云端模型的区别

在开始使用 Edge Impulse 进行模型部署之前，我们必须先建立对“端侧AI”这一核心场景的清晰认知。端侧AI（TinyML / Edge AI）并非简单地将云端模型“缩小”后塞进设备，而是一套在资源受限的嵌入式系统上实现感知、推理与决策的完整工程方法论。本章将围绕三个关键问题展开：边缘计算与嵌入式AI的边界在哪里？端侧推理面临哪些硬性约束？以及为什么不能把云端训练好的模型直接搬到设备上？理解这些基础概念，将直接决定你在后续课程中如何选择模型架构、量化策略和部署目标。

上图展示了云端AI与端侧AI的核心差异。云端AI以“训练”为中心，拥有几乎无限的算力和存储，但推理依赖网络传输；端侧AI则以“推理”为中心，所有计算在本地完成，但必须在极小的功耗和内存预算内实现。Edge Impulse 的核心价值，正是将左侧的云端训练能力与右侧的端侧部署约束连接起来，通过自动化流水线生成可在MCU上运行的优化模型。

2.1 边缘计算与嵌入式AI：概念边界与工程定位

核心原理：从“云计算中心”到“物理世界边缘”

边缘计算（Edge Computing）是一种分布式计算范式，它将数据处理和推理任务从集中式数据中心下沉到靠近数据源头的网络边缘节点。这里的“边缘”可以是基站、网关、工业PLC，也可以是毫米级大小的MCU。嵌入式AI（Embedded AI）则是边缘计算在硬件层面的具体实现——在微控制器（MCU）、微处理器（MPU）或数字信号处理器（DSP）上直接运行机器学习模型。两者的关系可以概括为：边缘计算是架构思想，嵌入式AI是落地载体。

在实际工程中，我们通常按设备算力将边缘设备划分为三个层级：

Edge Impulse 主要面向第一层级（MCU）和第二层级（MPU）的优化。理解这个分层至关重要，因为不同层级的优化策略完全不同：MCU上需要将模型压缩到几百KB以内，而MPU上则可以运行几MB的模型。

判断方法：如何确定一个AI任务是否适合端侧部署？

在项目立项阶段，你可以使用以下三个问题快速判断：

1. 实时性要求：从数据采集到决策输出，系统允许的最大延迟是多少？如果超过50ms就会导致控制失效或体验下降，则必须端侧推理。
2. 网络可靠性：设备是否可能处于弱网或离线环境？例如矿井、海上平台、移动机器人，这些场景不能依赖云端。
3. 功耗预算：设备使用电池供电吗？如果目标功耗低于100mW，那么每次云端通信的射频功耗（通常>200mW）就不可接受。

经验法则：如果以上三个问题中有两个以上指向“端侧”，那么就应该优先考虑嵌入式AI方案。反之，如果数据量极大且对延迟不敏感，云端推理仍是合理选择。

案例拆解：工业电机预测性维护的架构选型

某工厂需要在50台电机上部署振动异常检测系统。初始方案是“传感器+WiFi+云端推理”，但实际测试发现：每台电机每秒产生4KB振动数据，50台设备同时上传会导致工厂WiFi拥塞，且云端推理延迟达到200ms，无法在转子碰磨前及时报警。改为端侧方案后，在每台电机旁部署一个Cortex-M4F内核的MCU（主频80MHz，内存128KB），使用Edge Impulse训练一个1D-CNN模型，量化后仅占48KB内存。推理在本地完成，延迟仅8ms，只有当检测到异常时才通过RS-485总线向PLC发送报警信号。改造后，网络流量下降99.7%，报警响应时间缩短至原来的1/25。

常见误区与复盘

2.2 端侧推理的三大硬约束：算力、内存与功耗

核心原理：木桶效应下的资源博弈

端侧推理的约束可以总结为“算力墙”、“内存墙”和“功耗墙”。这三者相互关联：提升算力通常意味着更高的功耗和更大的芯片面积；增加内存会提高成本并占用PCB空间；而降低功耗则往往需要牺牲时钟频率。在MCU上，典型资源预算为：算力≤100MHz、内存≤256KB、功耗≤50mW。这意味着模型必须同时满足：计算量（MACs）足够低、参数量足够小、访存次数足够少。

判断方法：用“三个数字”评估模型可部署性

在Edge Impulse的部署页面，你会看到三个关键指标：RAM使用量、Flash使用量、推理延迟。判断标准如下：

• RAM使用量：必须小于设备可用RAM的70%，因为还要为传感器驱动、RTOS内核和通信协议栈预留空间。
• Flash使用量：包含模型权重和推理引擎代码，通常需要小于设备Flash的60%。
• 推理延迟：对于控制类应用（如电机换向），需小于10ms；对于监测类应用（如振动分析），可放宽至100ms。

如果模型超出预算，优先考虑以下优化顺序：① 减少输入特征维度 → ② 降低模型层数/通道数 → ③ 使用深度可分离卷积 → ④ 进行INT8量化。

案例拆解：关键词唤醒模型的资源压缩过程

一个初始的语音唤醒模型（用于“Hey, Edge”唤醒词）在Cortex-M4上测试结果如下：

通过四步优化，模型从“不可部署”变为“可部署”，准确率仅下降2.2%，但推理延迟缩短了80%。关键经验是：量化带来的收益远大于结构精简，且对准确率的影响通常小于2%。

常见误区与总结

2.3 端侧模型与传统云端模型的本质区别

核心原理：从“追求精度”到“追求效率”的范式转换

云端模型的设计目标是最大化准确率，因此倾向于使用大模型、高精度浮点数和复杂的数据增强。而端侧模型的设计目标是在资源预算内最大化“有效精度”——即满足业务需求的最低准确率。这种差异导致了两者在模型架构、数值精度、推理方式和更新机制上的根本不同。

判断方法：模型迁移的“三不原则”

当你尝试将一个云端模型迁移到端侧时，请遵循以下原则：

1. 不直接转换：不要将PyTorch模型直接导出为ONNX再转TFLite，而应使用Edge Impulse的迁移学习功能，在预训练模型基础上重新训练头部。
2. 不保留Batch维度：端侧推理的输入张量必须固定为[1, H, W, C]或[1, features]，不能包含动态Batch维度。
3. 不依赖预处理库：云端常用的OpenCV、PIL等库在MCU上不可用，所有预处理（如归一化、缩放）必须用纯C/C++实现。

案例拆解：将云端图像分类模型迁移到MCU的失败与成功

某团队尝试将云端训练好的ResNet-50模型（准确率92%）部署到Cortex-M7设备上。第一次尝试直接使用TensorFlow模型转换工具，结果模型文件达98MB，远超设备2MB Flash。随后他们改用MobileNetV2并量化，模型缩小至3.2MB，但仍超限。最终使用Edge Impulse的EON Tuner，自动搜索到合适的模型架构（FOMO-MobileNetV2，输入尺寸96x96），量化后仅280KB，准确率85%，满足项目需求（>80%）。复盘发现：关键不是“压缩模型”，而是“重新设计模型”——端侧模型应该从零开始设计，而不是从云端模型压缩而来。

常见误区与总结