2. Edge AI基础回顾
在深入探讨Edge AI模型发布流程之前，我们必须先建立一套清晰、准确的基础认知框架。Edge AI并非简单地将AI模型“缩小”后放到设备上，而是一种涉及计算架构、网络拓扑、资源约束和部署策略的系统性工程范式。本章将系统梳理边缘计算、边缘设备、模型推理与模型压缩四大核心概念，并通过对比分析揭示Edge AI与传统云AI在架构、延迟、带宽、隐私和运维上的本质差异。这些基础将直接决定后续章节中模型评估标准、审批流程设计以及部署回滚策略的合理性。
2.1 边缘计算与边缘设备：定义、边界与工程约束
核心原理：边缘计算（Edge Computing）是一种分布式计算范式，它将数据处理、存储和应用运行从集中式的云端数据中心迁移到网络边缘——即靠近数据源或用户端的位置。这里的“边缘”并非一个的地理概念，而是一个相对的逻辑层级：它可以是工厂车间里的工业网关、商场里的智能摄像头、汽车上的车载计算单元，甚至是用户口袋里的手机。边缘设备（Edge Device）则是承载边缘计算能力的物理实体，它们通常具备一定的计算、存储和通信能力，但资源规模远小于云端服务器。
判断方法：在实际工程项目中，判断一个设备是否属于“边缘设备”，可以从以下三个维度进行考量：
- 物理位置：是否与数据源（传感器、摄像头、执行器）处于同一局域网或物理近端？
- 资源约束：是否面临CPU算力、内存容量、存储空间、电池电量或散热能力的明确限制？
- 网络依赖：是否需要在弱网或断网环境下独立完成关键任务？
典型的边缘设备包括：NVIDIA Jetson系列（用于机器人、自动驾驶）、树莓派搭配AI加速模块（用于原型验证）、海思Hi3559A（用于智能安防）、以及各类集成NPU（神经网络处理单元）的SoC（片上系统）。这些设备的共同特点是：它们不是通用计算平台，而是针对特定场景优化的专用计算节点。
| 设备类型 | 典型算力 | 内存 | 典型功耗 | 适用场景 |
|---|---|---|---|---|
| MCU级（如STM32+NPU） | 0.1-1 TOPS | 数百KB-数MB | <1W | 可穿戴、传感器节点 |
| 手机SoC（如骁龙8系） | 10-30 TOPS | 8-16GB | 3-8W | 移动端AI应用 |
| 边缘盒子（如Jetson Orin） | 100-275 TOPS | 8-64GB | 15-60W | 智慧城市、工业质检 |
2.2 模型推理与模型压缩：从云端训练到边缘部署的关键技术
核心原理：模型推理（Inference）是指使用训练好的深度学习模型，对新的输入数据执行前向传播计算，从而得出预测结果的过程。与训练阶段不同，推理阶段不涉及反向传播和梯度更新，因此对计算精度的要求相对较低，但对延迟和吞吐量的要求更为严苛。模型压缩（Model Compression）则是一系列技术的总称，旨在减少模型的大小、计算量和内存占用，使其能够在资源受限的边缘设备上高效运行。
操作流程：一个典型的边缘AI模型压缩与部署流程包括以下步骤：
- 模型量化：将FP32权重转换为INT8或INT16格式。例如，一个100MB的FP32模型，量化为INT8后体积可缩小至25MB，推理速度提升2-4倍。但需注意，量化会引入精度损失，通常需要校准数据集进行后训练量化（PTQ）或量化感知训练（QAT）。
- 剪枝（Pruning）：移除模型中不重要的权重连接或神经元通道。结构化剪枝（如通道剪枝）可以直接减少计算量，且对硬件友好。例如，对ResNet-50进行30%通道剪枝后，FLOPs（浮点运算次数）可减少约40%，精度损失控制在1%以内。
- 知识蒸馏（Knowledge Distillation）：用一个大型教师模型指导一个小型学生模型训练，使学生模型在保持接近教师模型精度的同时，拥有更小的参数量。例如，用BERT-large蒸馏出TinyBERT，参数量减少至原来的1/10，但GLUE分数仍能达到教师模型的95%以上。
- 算子融合与图优化：将多个连续算子（如Conv+BN+ReLU）融合为一个算子，减少内存访问次数和内核启动开销。TensorRT、OpenVINO等推理引擎会自动执行此类优化。
2.3 Edge AI与传统云AI的全面对比：架构、性能与运维
核心原理：传统云AI将所有数据上传至集中式数据中心，利用大规模GPU集群进行训练和推理。这种模式的优势在于计算资源无限扩展、模型可以做得很大、维护集中化。然而，它天然存在三大瓶颈：网络延迟（数据往返时间）、带宽成本（海量数据传输）、数据隐私（敏感数据离开本地）。Edge AI则将推理能力下沉到数据产生的地方，从根本上改变了“数据-计算”的拓扑关系。
判断方法：在架构选型时，可以通过以下决策矩阵快速判断应该采用云AI还是Edge AI：
| 决策维度 | 优先选择Edge AI | 优先选择云AI |
|---|---|---|
| 延迟要求 | 实时控制（<50ms） | 非实时分析（>500ms） |
| 网络环境 | 弱网/断网/高抖动 | 稳定高带宽 |
| 数据敏感性 | 医疗、金融、隐私数据 | 公开数据或已脱敏 |
| 数据量 | 高频小数据包 | 低频大数据块 |
| 模型复杂度 | 轻量级（<100MB） | 大模型（GB级） |
案例拆解：以智慧工厂的预测性维护系统为例。传统方案中，振动传感器以1kHz采样率采集数据，每台设备每天产生约86MB数据。若100台设备全部上传至云端分析，每日数据量达8.6GB，不仅占用大量带宽，且云端分析结果返回延迟约200ms，无法满足紧急停机保护需求。改造为Edge AI方案后：
- 边缘侧：在每台设备旁部署工业网关（内置NPU），运行压缩后的异常检测模型（输入为1秒振动波形，输出为异常概率）。推理延迟仅8ms，可在本地触发紧急停机。
- 云端侧：仅上传异常片段（约占总数据量的1%）和模型更新日志，用于定期重新训练和优化模型。
- 结果：带宽占用降低99%，响应速度提升25倍，且振动原始数据不出厂区，满足数据合规要求。
2.4 常见误区与总结复盘
误区一：认为Edge AI只是“把模型变小”。实际上，Edge AI是一个系统工程，涉及硬件选型、模型压缩、推理引擎优化、电源管理、OTA（空中下载）更新机制等多个层面。只关注模型大小而忽略推理引擎的适配，往往导致实际性能远低于预期。
误区二：忽视边缘设备的异构性。不同厂商的NPU指令集差异巨大，同一个INT8模型在Jetson上运行良好，迁移到瑞芯微RK3588上可能因算子不支持而报错。在模型发布前，必须针对目标硬件进行充分的兼容性测试。
误区三：混淆“边缘推理”与“边缘训练”。当前绝大多数Edge AI场景只做推理，训练仍在云端完成。边缘训练（如联邦学习）仍处于探索阶段，其通信开销和隐私保护机制尚不成熟，不应在常规项目中贸然采用。
总结复盘：本章建立的基础概念框架，是后续所有发布流程设计的理论基石。在模型评估阶段，我们需要依据边缘设备的资源约束设定量化精度阈值；在审批阶段，需要权衡延迟、功耗、精度之间的取舍；在部署阶段，需要设计针对异构硬件的灰度发布策略；在回滚阶段，则需要考虑边缘设备离线状态下的版本回退机制。理解Edge AI的本质——在资源受限、环境复杂、网络不可靠的条件下，实现可靠、安全、高效的智能推理——是掌握整个课程的核心前提。