3、AI模型基础：神经网络、推理过程、模型部署的基本概念
在进入Edge AI融合模型的置信度加权与决策策略之前，我们必须先建立对AI模型底层运行机制的清晰认知。Edge AI场景与云端AI最大的差异在于资源约束——有限的算力、内存、功耗以及不稳定的网络环境。因此，理解神经网络如何工作、推理过程如何执行、模型如何被部署到边缘设备，是后续设计置信度评估与决策策略的基石。本章将围绕这三个核心概念展开，帮助你在头脑中构建一个从“算法设计”到“物理设备运行”的完整映射。
3.1 神经网络的核心原理：从感知机到深度特征提取
神经网络本质上是一个由大量参数（权重和偏置）组成的非线性函数逼近器。其基本计算单元是神经元，每个神经元接收多个输入，进行加权求和后通过激活函数产生输出。以最经典的多层感知机（MLP）为例，其数学表达为：y = f(W·x + b)，其中W是权重矩阵，x是输入向量，b是偏置，f是激活函数（如ReLU、Sigmoid）。
在Edge AI场景中，我们更常遇到的是卷积神经网络（CNN）或轻量级Transformer。CNN通过卷积核在输入数据上滑动提取局部特征，逐层抽象——浅层网络识别边缘和纹理，深层网络识别物体部件和语义概念。这种层次化特征提取能力使得神经网络能够处理图像、语音、雷达点云等非结构化数据。
3.2 推理过程：从输入到输出的计算链路
推理（Inference）是指将训练好的模型应用于新数据，产生预测结果的过程。与训练不同，推理阶段不更新参数，只进行前向计算。一个完整的推理链路包括以下步骤：
- 输入预处理：将原始传感器数据（如摄像头帧、麦克风采样）转换为模型期望的格式。例如，将图像从RGB转换为BGR、缩放到224×224、归一化到[0,1]区间。
- 张量布局转换：将数据排列为模型要求的张量形状（如NCHW或NHWC），并转换为模型推理引擎支持的数据类型（FP32、FP16或INT8）。
- 逐层前向传播：数据依次经过卷积层、池化层、全连接层等，每层执行矩阵乘法和激活函数计算。中间特征图（Feature Map）在内存中暂存。
- 输出后处理：对网络原始输出（Logits）应用Softmax函数获得概率分布，或应用阈值/NMS（非极大值抑制）获得检测框。
| 推理阶段 | 计算类型 | 内存访问模式 | Edge AI 瓶颈 |
|---|---|---|---|
| 卷积层 | 乘加运算（MAC） | 高带宽读取输入/权重 | 算力受限，NPU加速 |
| 激活函数 | 非线性变换 | 逐元素操作 | 通常开销较小 |
| 池化层 | 下采样 | 局部窗口读取 | 内存带宽占用 |
| 全连接层 | 矩阵向量乘 | 大权重矩阵加载 | 参数量大，需压缩 |
3.3 模型部署：从训练环境到边缘设备的工程化过程
模型部署是将训练好的神经网络迁移到目标硬件（如手机SoC、MCU、边缘网关）上高效运行的过程。这不仅仅是复制文件，而是涉及模型转换、硬件适配、性能优化和运行时管理的系统工程。
典型的部署流程包括：模型导出（将PyTorch/TensorFlow模型转换为ONNX或TFLite格式）→ 模型优化（量化、剪枝、蒸馏）→ 编译器适配（通过TVM、XNNPACK或厂商SDK生成目标平台代码）→ 运行时集成（编写推理引擎调用代码，管理输入输出缓冲）。
3.4 案例拆解：智能摄像头中的人脸检测模型部署
我们以一个实际项目为例：在某智能门禁系统中，需要在基于RK3588芯片的边缘设备上部署一个人脸检测模型（YOLOv5s）。初始目标是在30fps下实现实时检测，且内存占用不超过500MB。
初始现象与约束：开发者在PC上使用PyTorch训练了YOLOv5s模型，mAP达到0.89。直接使用PyTorch的JIT导出并在RK3588上运行，帧率仅为4fps，内存占用1.2GB，远超目标。
分析判断过程：通过Profiling发现，瓶颈在于：① 模型使用FP32计算，RK3588的NPU对FP32支持不佳；② 模型包含大量BatchNorm层，在推理时产生额外计算；③ 输入图像预处理在CPU上执行，未充分利用NPU的DMA能力。
实际操作步骤：
- 将YOLOv5s导出为ONNX格式，使用
onnx-simplifier去除冗余算子。 - 使用RKNN-Toolkit进行INT8量化，校准数据集选用500张室内监控场景图片。
- 将量化后的模型转换为RKNN格式，并配置NPU的DMA输入模式，使图像数据直接从摄像头ISP传输到NPU。
- 将预处理（归一化、缩放）融合到模型输入层，减少CPU参与。
结果对比：优化后帧率提升至28fps（接近目标），内存占用降至380MB。mAP从0.89略微下降至0.86，但通过后续的置信度阈值调整（从0.5降至0.45），实际检测效果满足门禁场景需求。
风险与代价：INT8量化导致在低光照条件下的小目标检测精度下降。为此，团队保留了FP16版本的模型用于夜间模式，通过运行时切换策略平衡精度与速度。
复盘经验：Edge AI部署必须从硬件特性出发进行“软硬协同设计”，而非简单移植。量化感知训练（QAT）比训练后量化（PTQ）能更好地保持精度，但需要提前在训练阶段加入伪量化节点。
3.5 常见误区与总结复盘
在AI模型基础概念的理解上，初学者和工程人员常陷入以下误区：
- 误区一：认为推理与训练的计算模式相同。实际上，训练需要保存中间激活值用于反向传播，内存开销远大于推理；推理则只需前向计算，可以释放中间结果。
- 误区二：忽略数据布局对性能的影响。在边缘设备上，NHWC布局通常比NCHW更适合CPU，而NPU可能偏好特定对齐方式。不匹配的数据布局会导致大量内存拷贝。
- 误区三：将模型精度视为唯一指标。在Edge AI中，延迟、功耗、模型大小与精度同等重要。一个0.95精度的模型如果无法在设备上实时运行，其实际价值低于0.90精度但能流畅运行的模型。
- 误区四：忽视推理引擎的算子支持差异。某些自定义层（如自定义注意力机制）在PC框架中运行正常，但目标设备的推理引擎可能不支持，需要手动实现或替换。