📚 课程目录第1章嵌入式AI概述

1. 嵌入式AI概述

嵌入式AI，说白了就是把深度学习模型塞进资源受限的嵌入式设备里，让它能实时推理。我刚开始接触这个领域时，也觉得不就是模型压缩一下嘛，真做起来才发现坑多得很。

你想想看，一个在服务器上跑得飞快的ResNet，放到ARM Cortex-A核上可能一秒都跑不了一帧。所以嵌入式AI的核心就三个字：快、小、省——推理要快，模型要小，功耗要省。

人脸识别在边缘端的需求这几年爆发得特别快。我参与过的项目里，最常见的场景有这么几类：

关键点：边缘端人脸识别和云端最大的区别在于——数据不出设备。隐私合规、低延迟、离线可用，这三个优势是云端方案给不了的。

我在做智慧工地项目时遇到过一个问题：工地网络时好时坏，如果完全依赖云端识别，工人经常刷脸失败。后来改成边缘端本地识别+离线缓存，体验才稳定下来。嗯，这就是边缘AI的典型价值。

选芯片是嵌入式AI项目的第一步，也是最容易踩坑的一步。我个人的习惯是：先看算力需求，再看生态成熟度，最后才看价格。下面这三款芯片是目前市面上最主流的方案。

对比维度	RK3588	Jetson Orin	算能BM1684
厂商	瑞芯微	NVIDIA	算能科技
AI算力	6 TOPS (NPU)	40~275 TOPS (GPU)	17.6 TOPS (TPU)
CPU架构	4×A76 + 4×A55	12核ARM Cortex-A78AE	8×Cortex-A53
内存	LPDDR4x 最大32GB	LPDDR5 8~64GB	LPDDR4x 最大12GB
功耗	5~15W	15~60W	12~25W
典型价格	¥500~800	¥3000~15000	¥800~1500
生态成熟度	中等，社区活跃	高，NVIDIA官方支持	中等，文档偏少
适用场景	门禁、IPC、智能家居	机器人、自动驾驶、高端安防	安防、智慧交通、工业视觉

我的选型建议：如果项目预算敏感、对功耗有严格要求，RK3588是性价比之王；如果追求极致算力和生态，Jetson Orin无可替代；如果做安防类项目且需要国产化，算能BM1684值得考虑。

这三款芯片我都实际部署过人脸识别模型，说说我的真实感受。

瑞芯微的NPU是自研的，支持INT8量化。我刚开始用的时候，模型转换工具链有点折腾——ONNX转RKNN经常报算子不支持。但社区更新很快，现在主流人脸模型（MobileFaceNet、ArcFace）基本都能跑。实测MobileFaceNet在NPU上推理只要8ms，非常香。

避坑指南：我曾经在RK3588上踩过一个坑——NPU不支持某些自定义OP，比如PReLU。后来改成ReLU+BN融合才解决。所以选模型时尽量用标准算子。

NVIDIA的生态确实强。TensorRT优化一条龙，从PyTorch到TensorRT几乎无痛。Orin的GPU算力碾压另外两款，跑ArcFace+检测+跟踪全流程都能实时。但代价是功耗高，散热必须做好。我做过一个车载项目，Orin满载时温度直奔85°C，最后加了主动散热才压住。

算能的TPU是专门为视觉任务设计的。它的BMNNSDK支持Caffe和ONNX模型转换。我印象最深的是它的PCIe加速卡形态，可以直接插在x86主板上当协处理器用。但文档确实不够详细，遇到问题基本靠翻GitHub issue。适合有经验的团队。

不管选哪款芯片，部署流程都大同小异。我总结了一个五步法：

下面这张图可以帮你快速建立整体认知：

嵌入式AI人脸识别，说白了就是一场算力、功耗、成本的三角博弈。没有完美的芯片，只有最适合项目的方案。