一、课程导论与硬件选型:从YOLO到边缘设备的完整链路

各位同学好,我是老赵。在嵌入式AI这行摸爬滚打了快十年,今天咱们来聊聊YOLO模型部署到边缘设备这件事。说实话,这话题现在特别火,但真正能把模型跑起来、跑得稳的人,其实不多。

为什么会这样?因为这里面坑太多了。模型选型、硬件匹配、量化精度、推理框架……每个环节都可能让你卡上好几天。我刚开始做部署的时候,就吃过不少亏——有一次在Jetson Nano上跑YOLOv5,直接内存溢出,查了两天才发现是输入尺寸没调对。

所以这门课,我会把从模型训练到边缘部署的完整流程,掰开了揉碎了讲给你听。咱们先从最基础的开始:YOLO是什么?边缘计算又是什么?以及最重要的——怎么选硬件。

1.1 YOLO发展史:从v1到v11,我们经历了什么

YOLO,全称You Only Look Once,中文叫“你只看一次”。这名字起得挺直白——它把目标检测当成一个回归问题,一次前向推理就能输出所有目标的位置和类别。

我最早接触YOLO是在2016年,那时候还是YOLOv1。说实话,当时的精度一般,但速度是真的快。后来v2、v3陆续出来,精度慢慢追上来了。到了v5,基本上成了工业界的标配。

现在YOLO已经发展到v11了,但咱们课程主要聚焦在v5、v8和v11这三个版本。为什么?因为它们在边缘设备上最实用。

版本 发布时间 核心特点 边缘部署推荐度
YOLOv5 2020 稳定、生态好、文档全 ⭐⭐⭐⭐⭐
YOLOv8 2023 支持实例分割、姿态估计 ⭐⭐⭐⭐
YOLOv11 2024 更轻量、推理速度更快 ⭐⭐⭐⭐⭐
我的建议:新手入门先从YOLOv5开始,资料多、社区活跃。等把部署流程跑通了,再升级到v8或v11。

1.2 边缘计算概念:为什么非要在设备上跑模型?

说白了,边缘计算就是把计算任务从云端搬到离数据源更近的地方。你想想看,一个摄像头每秒产生30帧画面,如果每帧都传到云端去处理,网络延迟、带宽成本、隐私问题……全是坑。

我去年做过一个智慧工厂的项目,摄像头装在产线上,检测零件缺陷。一开始方案是云端推理,结果网络抖动导致检测延迟从50ms飙到500ms,产线直接停了。后来换成边缘设备本地推理,延迟稳定在30ms以内,再也没出过问题。

边缘计算的核心优势就三个:

  • 低延迟:本地推理,毫秒级响应
  • 高隐私:数据不出设备,安全可控
  • 低成本:省去了云服务器和带宽费用
注意:边缘设备算力有限,不是所有模型都能直接跑。你需要做模型压缩、量化、剪枝——这些咱们后面几章会详细讲。

1.3 主流边缘设备对比:Jetson、RK3588、树莓派

目前市面上主流的边缘AI设备,我把它分成三派:

  • NVIDIA Jetson系列:生态最好,CUDA加持,适合深度学习
  • 瑞芯微RK3588:性价比高,NPU性能强,国产化首选
  • 树莓派:入门神器,但算力有限,适合轻量模型

这三款我都用过,各有各的脾气。咱们直接上对比表:

参数 Jetson Orin NX RK3588 树莓派5
AI算力 70 TOPS 6 TOPS 0.5 TOPS
功耗 15W 8W 5W
价格 约4000元 约800元 约500元
推理框架 TensorRT RKNN ONNX Runtime
适合场景 高精度、高帧率 性价比优先 学习、原型验证
避坑指南:我曾经在RK3588上部署YOLOv8,直接转RKNN模型报错,查了半天发现是算子不支持。后来换了YOLOv5才搞定。所以选硬件之前,一定要确认你的模型算子是否被目标推理框架支持。

1.4 选型决策矩阵:到底该买哪个?

很多同学问我:“老赵,我该买Jetson还是RK3588?”我的回答永远是:看你的需求。

我整理了一个决策矩阵,你对着自己的项目条件打勾就行:

项目条件 推荐设备 理由
需要高精度(mAP > 80%) Jetson Orin TensorRT优化好,FP16推理精度损失小
预算有限(< 1000元) RK3588 性价比之王,NPU推理速度快
学习入门、原型验证 树莓派5 便宜、资料多、坏了不心疼
需要低功耗、电池供电 RK3588 8W功耗,比Jetson省一半
需要快速量产、生态成熟 Jetson Nano NVIDIA官方支持,量产案例多
我的个人习惯:做原型验证先用树莓派,跑通了再移植到Jetson或RK3588上做性能优化。这样成本最低,踩坑最少。

1.5 本章知识体系总览

下面这张图,把咱们第一章的核心内容串起来了。你保存好,后面每学完一章,都可以回来对照着看。

第一章:课程导论与硬件选型知识体系 YOLO边缘部署 YOLO发展史 v1→v5→v8→v11 精度与速度的平衡 边缘计算概念 低延迟·高隐私·低成本 本地推理 vs 云端推理 硬件选型对比 Jetson / RK3588 / 树莓派 算力·功耗·价格·生态 选型决策矩阵:需求 → 预算 → 性能 → 生态

嗯,第一章的内容就到这儿。记住一句话:选硬件就像选工具,没有最好的,只有最合适的。后面咱们会一步步深入,从模型训练、量化、转换,到在设备上跑起来,每一步我都会把踩过的坑、总结的经验,原原本本告诉你。