2、Edge AI基础：边缘计算、设备端AI、云边协同的基本架构与典型应用场景

在深入设备分组管理之前，必须先厘清Edge AI的运行底座。边缘计算并非云计算的替代品，而是其向用户侧的自然延伸。设备端AI（On-device AI）强调在终端硬件上直接执行推理，而云边协同则定义了云、边、端三层之间如何分工、通信与迭代。理解这三者的边界与耦合关系，是后续按场景、型号、模型版本进行分组管理的前提——因为不同的分组策略，本质上是对不同计算位置、网络条件与模型生命周期的适配。

2.1 核心原理：三层架构的职责边界

Edge AI的物理架构可抽象为云端-边缘-设备三层。每一层都有其不可替代的职责，也存在各自的物理与算力约束。理解这三层的分工，是后续制定分组管理策略的基础。

• 云端层（Cloud）：负责模型的训练、验证、版本管理以及全局策略的制定。云端拥有几乎无限的算力与存储，可以处理海量历史数据，训练出高精度的基础模型。同时，云端也是设备分组策略的“大脑”，决定哪个型号的设备、哪个分组应该运行哪个版本的模型。
• 边缘层（Edge）：位于网络边缘，通常指靠近数据源头的网关、服务器或小型数据中心。边缘层承担“承上启下”的角色：一方面，它接收云端下发的模型并做本地缓存；另一方面，它聚合多台终端设备的数据，执行初步的过滤、清洗与规则判断，只将有价值的数据（如异常帧、特征向量）上传至云端，从而节省带宽。
• 设备端（Device）：即最终执行推理的终端硬件，如摄像头、工业传感器、手机、机器人等。设备端内置NPU、GPU或高效CPU，直接对传感器采集的原始数据进行实时推理，并在本地做出低延迟决策。设备端通常资源受限（内存小、算力有限、电池供电），因此需要轻量化模型与量化技术。

2.2 判断方法：如何选择计算位置与协同模式

在实际项目中，并非所有场景都需要三层同时参与。工程师需要根据延迟敏感度、带宽成本、数据隐私、设备算力四个维度，判断采用“端侧独立”、“边侧聚合”还是“云边协同”模式。下表给出了不同场景下的选型建议：

操作流程建议：在项目启动时，先对目标设备进行算力画像（CPU/GPU型号、内存大小、NPU算力TOPS），再结合业务SLA（服务等级协议）确定计算位置。例如，若设备端NPU算力不足2 TOPS，则不宜部署超过5MB的模型，此时应考虑将部分预处理逻辑迁移至边缘网关。

2.3 案例拆解：智慧工厂质检线的云边协同部署

某汽车零部件工厂需要部署一条视觉质检线，检测金属表面划痕。产线共有32台工业相机，分别连接4台边缘网关（每台网关接入8路相机），网关通过光纤连接至工厂私有云。初始方案将所有图像上传云端处理，但实际运行中发现以下问题：

1. 带宽瓶颈：每张图像约5MB，产线节拍为2秒/件，32台相机同时工作，需占用80MB/s上行带宽，远超工厂实际分配的50MB/s。
2. 延迟超标：云端推理平均耗时120ms，加上网络传输与排队，单件检测总耗时达到350ms，无法满足产线300ms的节拍要求。
3. 数据冗余：实际不良品率仅1.2%，99%的图像属于正常品，全部上传造成存储与算力浪费。

优化方案：采用“端侧初筛+边缘精检+云端回流”的三级协同架构。

• 端侧（相机内置NPU）：部署一个轻量级分类模型（MobileNetV3，INT8量化，模型大小2.3MB），仅判断“有无划痕”。该模型在端侧推理耗时8ms，准确率约92%。若判断为“无划痕”，直接丢弃图像；若判断为“疑似划痕”，则将该帧图像压缩后上传至边缘网关。
• 边缘侧（Jetson Xavier NX）：部署高精度分割模型（DeepLabV3+，FP16），对端侧上传的疑似图像进行精细分割，计算划痕长度与面积。边缘侧推理耗时45ms，准确率可达98.5%。边缘网关只将“确认缺陷”的图像及分割掩码上传云端，同时将检测结果实时反馈给机械臂执行剔除操作。
• 云端（GPU集群）：每周接收约2000张缺陷图像，用于增量训练。云端每月更新一次模型，并通过OTA将新版本下发至边缘网关，边缘网关再根据设备分组（按相机型号、安装角度）分发至对应的端侧设备。

结果对比：改造后，上行带宽占用从80MB/s降至1.2MB/s（仅传输缺陷图与特征），单件检测总耗时降至65ms（端侧8ms+边缘45ms+网络12ms），且云端存储成本下降90%。更重要的是，通过云端回流的数据，模型每月迭代一次，端侧初筛模型的准确率从92%提升至96.5%，进一步减少了误报上传量。

2.4 常见误区与总结复盘

在Edge AI架构设计中，工程师常陷入以下误区，导致后续分组管理混乱：