4. 深度学习模型基础

在无人机边缘AI部署中，模型不是越“大”越好，而是要在精度、延迟、功耗和内存之间取得平衡。理解卷积神经网络、Transformer 以及轻量化设计原则，是后续模型压缩与部署优化的基础。

一、卷积神经网络：局部感知与权值共享

卷积神经网络（CNN）通过卷积核在输入特征图上滑动，提取局部空间特征。其核心思想是局部连接与权值共享：每个卷积核只关注一个小感受野，同一核在整张图上复用，从而大幅减少参数量。典型结构包括卷积层、激活函数、池化层和全连接层。

在无人机视觉任务中，CNN 常用于目标检测、语义分割和避障。例如，YOLO 系列骨干网络就是典型的 CNN 结构。卷积的计算量可用公式估算：

FLOPs ≈ 2 × H × W × Cin × Cout × K × K
其中：H/W 为输出尺寸，Cin/Cout 为输入/输出通道，K 为卷积核大小

该公式说明，通道数和分辨率是影响计算量的关键因素，这也是轻量化设计的切入点。

二、Transformer：全局注意力与序列建模

Transformer 最初用于自然语言处理，其核心是自注意力机制。与 CNN 的局部感受野不同，自注意力允许每个位置直接关注序列中所有其他位置，从而建模长距离依赖。Vision Transformer（ViT）将图像切分为 patch 序列，再送入 Transformer 编码器。

Transformer 的优势在于全局建模能力强，但代价是计算复杂度随序列长度呈平方增长：

Attention(Q,K,V) = softmax(QKᵀ/√d) V
计算复杂度 ≈ O(N² × d)，N 为序列长度

在无人机边缘端，高分辨率图像会产生大量 patch，导致注意力计算量急剧上升。因此，实际部署中常采用 Swin Transformer 等窗口注意力机制，将全局注意力限制在局部窗口内，降低复杂度。

三、轻量化网络设计原则

无人机边缘设备通常只有几瓦到几十瓦的功耗预算，内存和算力有限。轻量化设计遵循以下原则：

• 深度可分离卷积：将标准卷积拆分为逐通道卷积和逐点卷积，参数量可降至原来的 1/8 到 1/9。
• 通道剪枝与分组卷积：去除冗余通道，或让不同组卷积核只处理部分通道，降低计算量。
• 低秩分解与量化：用低秩矩阵近似权重，或将 FP32 量化为 INT8，减少存储和带宽。
• 知识蒸馏：用大模型指导小模型训练，让小模型获得接近大模型的精度。
• 神经架构搜索（NAS）：自动搜索满足延迟约束的最优结构。

四、模型复杂度度量指标

评估模型是否适合边缘部署，需要关注以下指标：

指标	含义	对无人机部署的影响
参数量（Params）	模型中可学习参数总数	影响模型存储和加载时间
FLOPs	浮点运算次数	反映计算复杂度，影响推理速度
内存占用	推理时峰值内存	受限于边缘设备内存容量
推理延迟	单帧推理耗时	直接影响实时性，如避障响应
功耗	推理时能耗	决定无人机续航能力

需要注意的是，FLOPs 低并不一定意味着延迟低。实际延迟还受内存访问、算子融合、硬件并行度等因素影响。因此，在无人机部署中，应优先在目标硬件上实测延迟，而非只看理论 FLOPs。

五、案例与误区复盘

案例：某无人机巡检任务需要实时检测绝缘子缺陷。初始使用 ResNet-50，精度达标但推理延迟 120ms，无法满足 30fps 要求。改用 MobileNetV3 作为骨干，结合 INT8 量化，延迟降至 28ms，精度仅下降 1.2%。

常见误区：

• 只关注参数量，忽略内存访问和延迟。
• 盲目追求 Transformer 全局建模，忽视边缘端算力限制。
• 量化后不做校准，导致精度大幅下降。
• 忽略输入分辨率对 FLOPs 的平方级影响。

掌握 CNN、Transformer 和轻量化设计原则，并学会用参数量、FLOPs、延迟等指标衡量模型，是后续模型压缩、量化与部署优化的必要前提。