📚 课程目录第2章硬件平台选型

第2章：硬件平台选型——主流嵌入式AI芯片对比与我的选型经验

做嵌入式YOLO部署，第一步不是调模型，而是选硬件。

我见过太多人，模型在PC上跑得飞起，一上板子就卡成PPT。说白了，硬件选型决定了你的部署天花板。选对了，事半功倍；选错了，后面所有优化都是白费力气。

  核心观点：没有最好的芯片，只有最适合你场景的芯片。算力、功耗、成本、生态，四者必须同时权衡。

2.1 主流平台速览：一张表看懂差距

先给个全景图。我整理了一份主流嵌入式AI芯片的对比表，你直接拿去用。

平台	AI算力	典型功耗	价格区间	YOLO部署难度	我的评价
Jetson Orin NX	70-275 TOPS	15-40W	¥3000-6000	低（官方SDK完善）	性能王者，适合量产
Jetson Xavier NX	21 TOPS	10-20W	¥2000-3500	低	上一代经典，性价比高
RK3588	6 TOPS (NPU)	5-10W	¥500-1000	中（RKNN工具链）	国产之光，功耗控制优秀
树莓派4B	~0.1 TOPS (CPU)	3-7W	¥300-500	高（纯CPU推理极慢）	适合学习，不适合部署
树莓派+TPU	~4 TOPS	5-10W	¥500-800	中（需适配TPU）	低成本方案，但精度有损失

我的经验：别只看TOPS数字。Jetson的275 TOPS是稀疏算力，实际跑YOLOv8大概能到200FPS；RK3588的6 TOPS是NPU定点算力，跑YOLOv5s大概30-40FPS。数字要结合模型和精度一起看。

2.2 算力与功耗的权衡——没有免费的午餐

你想想看，为什么Jetson Orin那么强，但很多产品还是选RK3588？

因为功耗。

我做过一个智能摄像头项目，客户要求7×24小时运行，整机功耗不能超过15W。Jetson Orin一上去，光核心板就吃掉30W，直接出局。最后选了RK3588，整机功耗控制在12W，YOLOv5s跑25FPS，完全够用。

这里有个经验公式，我用了好几年：

有效算力 = 峰值TOPS × 实际利用率 × 能效比

能效比 = FPS / 功耗（单位：FPS/W）

举个例子：
Jetson Orin NX:  200FPS / 30W = 6.67 FPS/W
RK3588:          35FPS / 8W  = 4.38 FPS/W
树莓派+TPU:      15FPS / 7W  = 2.14 FPS/W

看到了吗？Jetson虽然算力高，但能效比不一定碾压。如果你的场景对功耗敏感，RK3588反而是更优解。

避坑指南：我曾经在选型时只看TOPS，结果产品散热压不住，被迫降频运行，实际FPS只有标称的40%。记住：散热能力决定了你能用多少算力。选型时一定要留30%的散热余量。

2.3 四大平台深度解析

2.3.1 NVIDIA Jetson系列——生态最完善

Jetson是我用得最多的平台。它的优势不在硬件，在软件生态。

TensorRT深度优化：YOLO模型可以直接用trtexec工具一键转换，INT8量化后精度损失通常<1%
DLA加速器：Orin系列有DLA（深度学习加速器），专门跑卷积，能效比提升2-3倍
多模型并行：我做过一个项目，同时跑YOLOv8检测+DeepSort跟踪，Orin NX能做到30FPS

但Jetson也有缺点：贵、功耗高、供货不稳定。我去年有个项目因为Jetson缺货，硬生生等了三个月。

2.3.2 Rockchip RK3588——国产性价比之王

RK3588是近两年我推荐最多的平台。为什么？

6 TOPS NPU：虽然数字不大，但它是纯整数算力，实际跑YOLOv5s能到35-40FPS
功耗控制优秀：整板功耗5-10W，被动散热就能压住
价格亲民：核心板只要几百块，量产成本优势巨大

但要注意，RK3588的NPU工具链（RKNN）还在完善中。我踩过一个坑：RKNN对某些算子支持不好，比如SiLU激活函数，需要手动替换成ReLU或LeakyReLU，否则编译失败。

  RK3588部署YOLO的常见算子替换：

  SiLU → ReLU（精度损失约0.5-1% mAP）

  Focus层 → Conv+Slice（手动拆分）

  Upsample → 最近邻插值（双线性插值不支持）

2.3.3 树莓派——学习可以，量产慎重

树莓派4B的CPU算力大概0.1 TOPS，跑YOLOv5s只有0.5-1 FPS。说白了，纯CPU推理就是幻灯片。

加个TPU（比如Google Coral）能到10-15 FPS，但精度会掉。我测试过，YOLOv5s在Coral上INT8量化后，mAP从0.72掉到0.65，差了将近10%。

树莓派适合做什么？原型验证、教学演示、低帧率场景（比如每小时拍一张的安防）。量产？我建议你直接上RK3588。

2.3.4 TPU加速棒——轻量级补充方案

Google Coral TPU、Intel Neural Compute Stick 2，这些USB加速棒适合给已有设备加AI能力。但注意：

USB 3.0带宽有限，大模型（YOLOv8m以上）会卡在数据传输上
TPU只支持INT8，精度损失不可避免
多TPU并行时，同步开销很大

我试过用4个Coral TPU并行跑YOLOv5s，理论算力16 TOPS，实际FPS只比单TPU提升了2倍，因为USB带宽成了瓶颈。

2.4 我的选型经验——一个决策框架

这些年我做了十几个嵌入式AI项目，总结了一套选型决策框架，分享给你：

先定功耗预算：产品是电池供电还是市电？电池供电直接排除Jetson，看RK3588或树莓派+TPU
再定帧率要求：实时检测（30FPS+）→ Jetson Orin；准实时（15-30FPS）→ RK3588；低帧率（5-15FPS）→ 树莓派+TPU
然后看精度要求：mAP要求0.7以上 → 必须用FP16或INT8高精度量化，选Jetson或RK3588；mAP 0.6也能接受 → TPU方案可行
最后算成本：量产1000台以上，RK3588方案成本是Jetson的1/3到1/5

我的习惯：选型时我会做一张"算力-功耗-成本"三角图，把候选平台标上去，然后看哪个落在我的"可接受区域"内。这个方法帮我避了好几次坑。

2.5 实战案例：一个智能门禁的选型过程

去年我帮朋友做智能门禁，需求是这样的：

人脸检测+识别，YOLOv5s + FaceNet
实时性要求：检测+识别 < 500ms
整机功耗 < 20W（含屏幕）
量产成本 < ¥1500/台

我当时的分析过程：

Jetson Orin NX：性能过剩，成本超预算（核心板就¥3000+）
Jetson Xavier NX：性能够，但功耗偏高（15-20W），加上屏幕可能超20W
RK3588：6 TOPS NPU跑YOLOv5s够用，FaceNet用CPU推理，整机功耗12W，成本¥800
树莓派+TPU：成本低，但精度和稳定性不满足量产要求

最终选了RK3588。实际测试：YOLOv5s检测30FPS，FaceNet识别200ms，整机功耗14W，成本¥950。完美满足需求。

避坑指南：选型时别忘了算"隐性成本"——开发时间。Jetson的TensorRT生态成熟，模型转换可能只要1天；RK3588的RKNN工具链需要踩坑，我第一个项目花了2周才调通。如果项目周期紧，Jetson的溢价其实是值得的。

2.6 本章小结

选型没有标准答案，但有标准方法。记住三点：

算力不是一切：能效比、工具链、成本、功耗，缺一不可
先定场景，再选芯片：不要为了用Jetson而用Jetson
留足余量：算力留30%余量，功耗留20%余量，开发时间留50%余量