1. AI端侧推理概述：嵌入式AI的起点
各位同学，欢迎来到《嵌入式AI端侧推理优化与MCU部署调试实战》的第一章。
咱们今天聊的，是整个课程的地基——嵌入式AI到底是什么，以及它跟咱们熟悉的云端AI有什么不同。我刚开始接触这个领域时，也踩过不少坑，今天一并分享给你们。
1.1 嵌入式AI的定义
说白了，嵌入式AI就是把人工智能的推理能力，塞进资源受限的嵌入式设备里——比如MCU、DSP、FPGA这类芯片。让它们不依赖网络，不连云端，自己就能做决策。
你想想看，一个智能音箱，你喊“开灯”，它得在几百毫秒内响应。如果每次都要把语音上传到云端再等结果回来，体验得多糟糕？
嵌入式AI的核心特征就三条：
- 本地推理：数据不出设备，隐私安全有保障
- 低功耗：电池供电的设备，功耗得控制在毫瓦级
- 实时性：响应延迟通常在毫秒级，不能卡顿
关键认知：嵌入式AI不是把云端模型直接“压缩”一下扔进MCU那么简单。它需要从算法、硬件、软件三个维度重新设计。我在项目中见过太多人直接把TensorFlow模型转成C代码就跑，结果Flash爆了、RAM溢了——嗯，这条路走不通。
1.2 端侧推理 vs 云侧推理
很多初学者会问：为什么不直接用云？云算力强啊。没错，但咱们得看场景。
下面这张表，是我在实际项目中总结的对比，你直接拿去用：
| 对比维度 | 端侧推理 | 云侧推理 |
|---|---|---|
| 算力 | 受限（MCU通常几十MHz~几百MHz） | 充裕（GPU/TPU集群） |
| 功耗 | 毫瓦级~瓦级 | 千瓦级 |
| 延迟 | 毫秒级（本地处理） | 百毫秒~秒级（含网络传输） |
| 隐私 | 数据不出设备 | 数据需上传 |
| 网络依赖 | 不依赖 | 必须联网 |
| 模型复杂度 | 轻量级（几KB~几MB） | 大规模（几百MB~GB级） |
| 更新维护 | OTA升级较复杂 | 服务端热更新 |
为什么会这样？我举个例子。之前做一个工业异常检测项目，客户要求在产线设备本地做判断，数据不能出车间。你想想，如果每台设备都连云端，网络断了怎么办？延迟高了怎么办？
所以，端侧推理不是云侧的替代品，而是互补品。云侧负责训练和复杂推理，端侧负责实时响应和隐私敏感场景。
1.3 典型应用场景
咱们来看看嵌入式AI真正落地的几个方向。我挑三个最常见的讲：
1.3.1 智能语音
这个大家最熟悉。智能音箱、TWS耳机、车载语音助手，都是典型。
- 唤醒词检测：比如“小爱同学”、“Hey Siri”，模型通常只有几十KB
- 语音命令识别：开灯、关空调、调音量，本地就能搞定
- 降噪与回声消除：在耳机里实时处理，延迟必须低于10ms
个人经验：我做语音唤醒项目时，发现模型量化后精度掉了3%，但Flash占用从200KB降到了60KB。对于MCU来说，这3%的精度换60%的空间，值不值？值。关键看你的产品定义。
1.3.2 图像识别
注意，这里不是指高分辨率图像分类，而是轻量级视觉任务。
- 人脸检测/关键点定位：门锁、考勤机，输入通常只有QVGA（320x240）
- 手势识别：智能家居控制，不用触摸
- 二维码/条形码扫描：工业扫码枪，要求每秒处理30帧以上
我曾经在STM32F4上跑过一个MobileNet V1的变体，输入96x96，帧率只有5FPS。后来换了硬件加速器，才跑到30FPS。嗯，这里要注意：MCU跑视觉，瓶颈往往在内存带宽，而不是算力。
1.3.3 异常检测
这是工业领域最刚需的场景。
- 电机振动监测：采集加速度计数据，判断是否异常
- 设备温度预测：用历史数据预测是否即将过热
- 电流波形分析：检测电弧、短路等故障
避坑指南：我曾经在产线异常检测项目里，直接用了云端训练好的LSTM模型。结果MCU上跑一次推理要200ms，根本跟不上采样率。后来改成1D-CNN + 定点量化，推理时间降到5ms。记住：模型选型一定要考虑硬件约束，别等部署了才发现跑不动。
1.4 嵌入式AI知识体系总览
下面这张图，是我梳理的嵌入式AI核心知识结构。你把它当作整个课程的地图：
1.5 本章小结
咱们这一章，把嵌入式AI的底子打好了：
- 嵌入式AI = 在资源受限设备上做本地推理
- 端侧 vs 云侧：不是谁替代谁，而是各司其职
- 三大场景：语音、视觉、异常检测，每个都有独特的硬件约束
一句话记住：嵌入式AI的核心挑战，是在有限的算力、内存、功耗下，把模型的精度、速度、体积做到最优平衡。后面的29章，咱们就围绕这个目标一步步拆解。