一、课程导论与硬件选型:从YOLO到边缘设备的完整链路
各位同学好,我是老赵。在嵌入式AI这行摸爬滚打了快十年,今天咱们来聊聊YOLO模型部署到边缘设备这件事。说实话,这话题现在特别火,但真正能把模型跑起来、跑得稳的人,其实不多。
为什么会这样?因为这里面坑太多了。模型选型、硬件匹配、量化精度、推理框架……每个环节都可能让你卡上好几天。我刚开始做部署的时候,就吃过不少亏——有一次在Jetson Nano上跑YOLOv5,直接内存溢出,查了两天才发现是输入尺寸没调对。
所以这门课,我会把从模型训练到边缘部署的完整流程,掰开了揉碎了讲给你听。咱们先从最基础的开始:YOLO是什么?边缘计算又是什么?以及最重要的——怎么选硬件。
1.1 YOLO发展史:从v1到v11,我们经历了什么
YOLO,全称You Only Look Once,中文叫“你只看一次”。这名字起得挺直白——它把目标检测当成一个回归问题,一次前向推理就能输出所有目标的位置和类别。
我最早接触YOLO是在2016年,那时候还是YOLOv1。说实话,当时的精度一般,但速度是真的快。后来v2、v3陆续出来,精度慢慢追上来了。到了v5,基本上成了工业界的标配。
现在YOLO已经发展到v11了,但咱们课程主要聚焦在v5、v8和v11这三个版本。为什么?因为它们在边缘设备上最实用。
| 版本 | 发布时间 | 核心特点 | 边缘部署推荐度 |
|---|---|---|---|
| YOLOv5 | 2020 | 稳定、生态好、文档全 | ⭐⭐⭐⭐⭐ |
| YOLOv8 | 2023 | 支持实例分割、姿态估计 | ⭐⭐⭐⭐ |
| YOLOv11 | 2024 | 更轻量、推理速度更快 | ⭐⭐⭐⭐⭐ |
1.2 边缘计算概念:为什么非要在设备上跑模型?
说白了,边缘计算就是把计算任务从云端搬到离数据源更近的地方。你想想看,一个摄像头每秒产生30帧画面,如果每帧都传到云端去处理,网络延迟、带宽成本、隐私问题……全是坑。
我去年做过一个智慧工厂的项目,摄像头装在产线上,检测零件缺陷。一开始方案是云端推理,结果网络抖动导致检测延迟从50ms飙到500ms,产线直接停了。后来换成边缘设备本地推理,延迟稳定在30ms以内,再也没出过问题。
边缘计算的核心优势就三个:
- 低延迟:本地推理,毫秒级响应
- 高隐私:数据不出设备,安全可控
- 低成本:省去了云服务器和带宽费用
1.3 主流边缘设备对比:Jetson、RK3588、树莓派
目前市面上主流的边缘AI设备,我把它分成三派:
- NVIDIA Jetson系列:生态最好,CUDA加持,适合深度学习
- 瑞芯微RK3588:性价比高,NPU性能强,国产化首选
- 树莓派:入门神器,但算力有限,适合轻量模型
这三款我都用过,各有各的脾气。咱们直接上对比表:
| 参数 | Jetson Orin NX | RK3588 | 树莓派5 |
|---|---|---|---|
| AI算力 | 70 TOPS | 6 TOPS | 0.5 TOPS |
| 功耗 | 15W | 8W | 5W |
| 价格 | 约4000元 | 约800元 | 约500元 |
| 推理框架 | TensorRT | RKNN | ONNX Runtime |
| 适合场景 | 高精度、高帧率 | 性价比优先 | 学习、原型验证 |
1.4 选型决策矩阵:到底该买哪个?
很多同学问我:“老赵,我该买Jetson还是RK3588?”我的回答永远是:看你的需求。
我整理了一个决策矩阵,你对着自己的项目条件打勾就行:
| 项目条件 | 推荐设备 | 理由 |
|---|---|---|
| 需要高精度(mAP > 80%) | Jetson Orin | TensorRT优化好,FP16推理精度损失小 |
| 预算有限(< 1000元) | RK3588 | 性价比之王,NPU推理速度快 |
| 学习入门、原型验证 | 树莓派5 | 便宜、资料多、坏了不心疼 |
| 需要低功耗、电池供电 | RK3588 | 8W功耗,比Jetson省一半 |
| 需要快速量产、生态成熟 | Jetson Nano | NVIDIA官方支持,量产案例多 |
1.5 本章知识体系总览
下面这张图,把咱们第一章的核心内容串起来了。你保存好,后面每学完一章,都可以回来对照着看。
嗯,第一章的内容就到这儿。记住一句话:选硬件就像选工具,没有最好的,只有最合适的。后面咱们会一步步深入,从模型训练、量化、转换,到在设备上跑起来,每一步我都会把踩过的坑、总结的经验,原原本本告诉你。