1. 边缘AI概述：边缘计算与AI的结合
各位同学，咱们这门课叫《边缘AI图像识别模型量化与推理性能调优实战》。第一节课，我想先聊聊边缘AI到底是个什么东西。
说白了，边缘AI就是把人工智能算法从云端数据中心，搬到离数据源头更近的设备上运行。摄像头、传感器、嵌入式板卡、手机——这些设备不再只是采集数据，它们自己就能做推理决策。
我最早接触这个方向是在2018年，当时一个安防客户要求把车牌识别模型塞进海思3519芯片里。那会儿我还在想，这玩意儿能跑得动吗？结果硬着头皮调了三个月，总算把模型从200MB压到了8MB，推理延迟从500ms降到了30ms。嗯，从那时起我就意识到，边缘AI不是简单的模型部署，它是一整套系统工程。
1.1 为什么需要边缘计算+AI？
你想想看，传统云端AI的流程是这样的：摄像头采集图像 → 通过网络上传 → 云端服务器推理 → 结果返回。这个链路有几个致命问题：
- 延迟高：网络传输+排队，来回至少几百毫秒。自动驾驶、工业质检这种场景根本等不起。
- 带宽贵：一路1080p视频流每小时产生几个GB数据，全传云端，流量费能让你破产。
- 隐私风险：医疗影像、人脸数据传到云端，合规性是个大坑。
- 离线不可用：网络一断，设备变砖。
边缘AI直接把推理放在设备端，延迟降到毫秒级，数据不出设备，带宽成本几乎为零。我在一个工业项目中遇到过，客户工厂在地下室，4G信号极差。云端方案根本不可用，换成边缘AI后，设备离线运行了整整三个月，一次都没掉链子。
核心观点：边缘AI不是云AI的替代品，而是互补。云负责训练和复杂推理，边缘负责实时响应和隐私保护。
1.2 边缘AI的应用场景
这几年我接触过的项目，基本覆盖了三大主流场景。咱们一个一个说。
安防领域
这是边缘AI最成熟的应用方向。人脸识别门禁、车牌识别道闸、行为分析摄像头——这些设备现在几乎都内置了NPU（神经网络处理器）。
- 人脸检测+识别：在摄像头端完成人脸抓拍和特征提取，只上传特征码，不上传原图。
- 烟火检测：在边缘端实时分析视频流，发现烟雾或火焰立即报警，延迟小于100ms。
- 异常行为识别：打架、摔倒、闯入禁区——这些场景对实时性要求极高。
我记得有一次给一个园区做安防升级，客户要求人脸识别通过率99.5%以上，同时延迟不能超过200ms。我们用了轻量级模型MobileNetV3+INT8量化，最终在RK3588上跑到了150ms，通过率99.7%。
工业领域
工业视觉检测是边缘AI的另一个大市场。产品表面缺陷检测、尺寸测量、字符识别——这些任务以前靠人工目检，效率低、漏检率高。
- PCB缺陷检测：焊点虚焊、线路短路、元件缺失，边缘AI可以在产线节拍内完成检测。
- 包装质检：标签歪斜、封口不严、日期打印模糊——这些细节人眼容易疲劳。
- 机械臂视觉引导：边缘AI实时定位工件位置，引导机械臂抓取。
我曾经帮一家电子厂做过SMT贴片后的AOI检测优化。原来他们用工业PC+GPU方案，一台设备成本两万多。我们用Jetson Orin NX+量化后的YOLOv5s，成本降到八千，检测速度反而从30fps提升到了60fps。
医疗领域
医疗边缘AI对精度和隐私要求最高。CT影像、病理切片、内窥镜视频——这些数据不能随便上传云端。
- 肺结节检测：在CT设备端实时分析影像，标记可疑区域。
- 眼底病变筛查：便携式眼底相机+边缘AI，可以在基层诊所完成糖尿病视网膜病变筛查。
- 内窥镜辅助诊断：实时识别息肉、溃疡、肿瘤，辅助医生决策。
这里有个避坑指南：医疗场景的模型量化一定要做精度验证。我曾经遇到过INT8量化后，肺结节检测的召回率从95%掉到了82%，后来发现是某个激活层的量化参数没调好。嗯，这个坑后面咱们会专门讲。
1.3 边缘AI的核心挑战
边缘AI听起来很美好，但真正落地的时候，你会发现处处是坑。我把它总结为三个核心挑战：算力、功耗、延迟。这三者互相制约，你很难同时做到极致。
| 挑战维度 | 具体问题 | 典型约束 | 我的经验 |
|---|---|---|---|
| 算力 | 边缘设备算力有限，无法运行大模型 | 通常1-10 TOPS，云端GPU的1/100 | 模型剪枝+量化是必选项 |
| 功耗 | 电池供电设备，功耗不能太高 | 通常5-15W，散热受限 | NPU比GPU省电3-5倍 |
| 延迟 | 实时场景要求毫秒级响应 | 通常<100ms，甚至<30ms | 端到端优化，不只是模型推理 |
算力挑战
边缘设备的算力天花板非常明显。一块Jetson Orin NX的算力是100 TOPS，听起来不少，但跟云端A100的312 TFLOPS（FP16）一比，差了两个数量级。你不可能把ResNet-152直接搬上去，必须做模型压缩。
我个人习惯的做法是：先跑一遍精度基线，然后逐步剪枝、量化、蒸馏，每一步都做精度验证。不要一上来就追求极致压缩，否则精度崩了都不知道是哪一步出的问题。
功耗挑战
很多边缘设备是电池供电的，比如手持测温仪、巡检机器人。功耗每增加1W，续航可能减少半小时。散热也是大问题——无风扇设计的设备，芯片温度超过85°C就会降频。
我曾经在一个户外巡检项目里，设备在夏天暴晒下运行，外壳温度到了70°C，NPU直接降频，推理速度从30fps掉到了8fps。后来我们加了散热片，还做了动态频率调节——温度高了就切到更轻量的模型。这个策略后面会详细讲。
延迟挑战
延迟不只是模型推理时间。完整的端到端延迟包括：图像采集→预处理→模型推理→后处理→输出。很多时候，图像解码和预处理占的时间比推理还长。
举个例子：用OpenCV读取一张1920x1080的图片，再缩放到640x640，这个操作在ARM CPU上可能要花20ms。而模型推理本身可能只要10ms。所以优化延迟的时候，别只盯着模型，整个pipeline都要看。
我的建议：做边缘AI项目，先定好延迟和功耗的硬约束，再反推模型大小和算力需求。不要先选模型再优化，那样很容易陷入死胡同。
1.4 边缘AI的知识体系
为了让你对这门课有个整体认知，我画了一张知识体系图。它展示了边缘AI从模型压缩到部署优化的完整链路。
从这张图你可以看到，边缘AI不是单一技术，而是从场景需求出发，经过模型压缩、量化、剪枝，再到推理引擎部署和性能调优的完整链路。咱们这门课会沿着这个路径，一步步带你走通。
注意：不要试图跳过模型压缩直接部署。我曾经见过有人把ResNet-50直接转成ONNX就往Jetson上跑，结果推理延迟800ms，帧率1fps。这种方案根本不可用。模型压缩不是可选项，是必选项。
1.5 本章小结
这一章咱们聊了边缘AI的基本概念、应用场景和核心挑战。总结几个关键点：
- 边缘AI是把推理从云端搬到设备端，解决延迟、带宽、隐私问题。
- 安防、工业、医疗是三大主流场景，各有各的痛点。
- 算力、功耗、延迟三者互相制约，需要系统级优化。
- 模型压缩（量化、剪枝、蒸馏）是边缘AI落地的核心技术。