1、边缘计算概述
各位同学好，我是你们这门课的老朋友。今天咱们聊聊边缘计算——这个听起来很热、实际上更热的领域。
说实话，我最早接触边缘计算是在2017年。那时候客户说要把人脸识别模型塞进一个摄像头里，我第一反应是「疯了吧」？后来发现，不是客户疯了，是我对计算架构的理解还停留在云端时代。
1.1 边缘计算的定义
边缘计算，说白了就是「把计算搬到离数据最近的地方」。
传统模式下，传感器采集数据→上传云端→云端处理→返回结果。这一圈下来，延迟高、带宽贵、隐私还容易出问题。
边缘计算的做法是：在数据源头附近（摄像头、传感器、网关、嵌入式设备）直接完成计算。只把必要的结果或摘要发给云端。
核心定义：边缘计算是一种分布式计算范式，将计算和数据存储资源部署在靠近数据源或用户的网络边缘侧，以减少延迟、节省带宽、提升隐私保护能力。
我个人的理解更简单：能本地干的事，别麻烦云端。
1.2 边缘计算 vs 云计算
很多人问我：「边缘计算是不是要取代云计算？」
我的回答一直是：不是取代，是互补。
你看下面这个对比表，就明白了：
| 维度 | 云计算 | 边缘计算 |
|---|---|---|
| 计算位置 | 集中式数据中心 | 靠近数据源的边缘节点 |
| 延迟 | 几十到几百毫秒 | 毫秒级甚至微秒级 |
| 带宽需求 | 高（全量数据上传） | 低（只传结果或摘要） |
| 算力资源 | 几乎无限（GPU集群） | 受限（ARM/MCU/NPU） |
| 隐私安全 | 数据外传有风险 | 本地处理，隐私更好 |
| 网络依赖 | 必须在线 | 可离线运行 |
| 维护成本 | 专业团队运维 | 设备分散，运维复杂 |
| 典型设备 | 服务器、GPU集群 | 摄像头、网关、手机、MCU |
举个例子你就懂了。智能安防摄像头：
- 纯云端方案：摄像头24小时推流到云端，云端做检测。带宽烧钱，延迟感人。
- 边缘+云端方案：摄像头本地做人脸检测，只把「有人闯入」的事件和截图上传。省带宽、低延迟、还能离线工作。
我在一个智慧园区项目里就吃过亏。客户要求所有视频都上云，结果一个月带宽费比摄像头本身还贵。后来改成边缘检测+云端存储，成本直接砍掉70%。
1.3 边缘AI的应用场景
边缘AI，就是把AI模型部署到边缘设备上做推理。咱们这门课的核心，就是教你怎么把模型「塞」进这些资源受限的设备里。
我整理了几个典型的应用场景：
1.3.1 智能安防与视频分析
- 人脸识别门禁（本地比对，不依赖网络）
- 异常行为检测（跌倒、打架、闯入）
- 车牌识别与车辆跟踪
硬件常见方案：海思Hi3519、瑞芯微RK3588、英伟达Jetson系列
1.3.2 工业视觉质检
- 产品表面缺陷检测
- 装配完整性检查
- OCR字符识别（生产日期、批号）
硬件常见方案：英特尔Movidius、TI TDA4、安霸CV系列
1.3.3 智能语音与音频处理
- 智能音箱的唤醒词检测
- 工业设备异常声音监测
- 语音指令本地识别
硬件常见方案：乐鑫ESP32-S3、瑞昱RTL87xx、树莓派+麦克风阵列
1.3.4 自动驾驶与ADAS
- 车道线检测、行人识别
- 交通标志识别
- 障碍物避障
硬件常见方案：英伟达Orin、地平线征程系列、黑芝麻A1000
1.3.5 可穿戴设备与健康监测
- 心率、血氧实时分析
- 运动姿态识别
- 睡眠质量监测
硬件常见方案：ARM Cortex-M系列、Ambiq Apollo4、Nordic nRF系列
我的经验：选场景的时候，先问三个问题——
- 这个任务对延迟有多敏感？（毫秒级？秒级？）
- 网络环境稳定吗？（有没有断网风险？）
- 数据隐私要求高吗？（能不能上传云端？）
三个问题问完，你就知道该不该上边缘AI了。
1.4 边缘AI的知识体系
为了让你对整个课程有个全局感，我画了张图。这张图也是咱们这门课的核心骨架：
这张图你看懂了吗？从上到下，就是咱们这门课要走的完整路径：
- 模型准备：训练好的模型（PyTorch、TensorFlow、ONNX）
- 模型优化：量化、剪枝、蒸馏——把模型「瘦身」到能跑在边缘设备上
- 硬件适配：针对NPU、DSP、GPU做算子映射和指令优化
- 推理引擎：选对引擎（TensorRT、TFLite、MNN等），把模型跑起来
- 部署测试：精度、性能、功耗——三关都要过
注意：很多初学者一上来就跳进「量化」或者「算子优化」，结果发现模型根本跑不通。我建议你先把这张图刻在脑子里——每一步都有坑，每一步都绕不开。
我曾经在一个项目里，模型量化后精度掉了8%，折腾了两周才发现是某个算子在NPU上不支持。如果当时先做硬件适配评估，至少能省一周时间。
1.5 边缘AI的挑战
说了这么多好处，也得泼点冷水。边缘AI不是万能的，它有自己的硬伤：
- 算力天花板：边缘设备的算力通常是云端的千分之一甚至万分之一。你没法把ResNet-152直接塞进MCU。
- 内存墙：很多嵌入式设备RAM只有几百KB到几十MB。模型参数、中间特征图、输入输出缓冲区——每一块都得精打细算。
- 算子兼容性：同一个算子，在不同NPU上的实现可能完全不同。有的支持，有的不支持，有的支持但效率极低。
- 精度损失：量化、剪枝这些优化手段，必然会带来精度下降。怎么在性能和精度之间找平衡，是门手艺活。
- 碎片化严重：每个芯片厂商都有自己的SDK、工具链、算子库。换一个平台，可能整套流程都要重来。
嗯，这些挑战听起来挺劝退的。但别怕——咱们这门课就是来一个个解决这些问题的。后面的章节，我会带你从模型优化开始，一步步走到硬件适配、引擎集成、最终部署。
准备好了吗？咱们开始吧。