2、图像分类模型基础：卷积神经网络核心概念、常见图像分类模型（ResNet、MobileNet、EfficientNet）简介、预训练模型的使用

图像分类是计算机视觉中最基础也最成熟的任务之一，其目标是将输入图像划分为预定义的类别标签。在进入PTQ（Post-Training Quantization，训练后量化）校准与TFLite导出实战之前，我们必须先建立对图像分类模型本身的扎实理解。本章将围绕卷积神经网络（CNN）的核心机制、三类主流分类模型的架构特点，以及预训练模型的正确使用方式展开，为后续的量化部署打下坚实的模型基础。

2.1 卷积神经网络核心概念

2.1.1 核心原理：从全连接到局部感知

卷积神经网络（CNN）与传统全连接网络最本质的区别在于其局部连接和参数共享两大特性。全连接网络中，每个神经元与上一层的所有神经元相连，当输入为224×224×3的图像时，第一层全连接的参数量将高达数百万甚至数千万，不仅训练困难，推理时也极其消耗内存和算力。CNN通过卷积核（Filter/Kernel）在图像上滑动窗口，每个卷积核只关注局部区域（如3×3或5×5），从而大幅减少参数量。

卷积层的核心操作是互相关运算：卷积核在输入特征图上滑动，每个位置计算核与对应区域的点积，生成输出特征图的一个像素。多个卷积核叠加产生多个输出通道，每个通道可以理解为一种特征检测器——有的检测边缘、有的检测纹理、有的检测颜色模式。随着网络加深，浅层卷积核捕捉低级特征（边缘、角点），深层卷积核组合出高级语义特征（眼睛、轮子、文字区域）。

池化层（Pooling）紧随卷积层之后，常见的有最大池化（Max Pooling）和平均池化（Average Pooling）。池化操作在局部区域内取最大值或平均值，实现空间降采样，减少特征图尺寸，扩大感受野，同时提供一定的平移不变性。现代网络设计中，池化层逐渐被步长大于1的卷积层替代，但池化的思想仍然贯穿始终。

激活函数是CNN中引入非线性的关键。ReLU（Rectified Linear Unit）及其变体（Leaky ReLU、PReLU）是当前主流选择，其计算简单、梯度传播稳定，有效缓解了梯度消失问题。在量化部署时，ReLU的对称性（输出恒为非负）对激活值分布有重要影响，这将在后续PTQ校准章节中详细讨论。

2.1.2 判断方法：如何评估一个CNN架构的优劣

在实际工程中，评估CNN架构需要从多个维度综合考量，不能只看单一指标。下表列出了关键评估维度及其对部署的影响：

在移动端或嵌入式场景中，通常优先考虑参数量小于10M、FLOPs小于1G的轻量级模型。而在服务器端或算力充足的场景下，可以选用更大规模的模型以追求极致精度。此外，算子多样性也是一个容易被忽视的因素——某些自定义算子（如动态卷积、条件分支）在TFLite中可能不支持或优化不佳，导致部署困难。

2.1.3 案例拆解：一个简单的CNN分类流程

假设我们要构建一个区分猫和狗的二分类模型，输入图像为224×224×3。一个典型的CNN流程如下：

1. 输入层：接收224×224×3的RGB图像，通常进行归一化处理（像素值除以255，或使用ImageNet的均值和标准差进行标准化）。
2. 特征提取阶段：由若干卷积块组成，每个卷积块包含卷积层、批归一化层（Batch Normalization）和ReLU激活。例如：Conv3×3(64) → BN → ReLU → MaxPool(2×2)，重复3-4次，特征图尺寸从224×224逐步缩小到28×28或14×14，通道数从3增加到128或256。
3. 全局池化：使用全局平均池化（Global Average Pooling）将特征图压缩为1×1×C的向量，替代传统的Flatten+全连接层，大幅减少参数量。
4. 分类头：一个全连接层（或1×1卷积），输出维度为2（猫/狗），后接Softmax得到概率分布。

训练完成后，该模型在推理时对单张图片的延迟约为10-50ms（取决于硬件）。在部署到手机端时，我们可能希望将延迟压缩到5ms以内，这就需要对模型进行量化和优化——这正是本课程后续章节要解决的问题。

2.1.4 常见误区与总结复盘

误区一：认为网络越深越好。单纯的层数堆叠会导致梯度消失和退化问题（训练集准确率反而下降），ResNet的残差连接正是为了解决这一问题而提出的。

误区二：忽视感受野的计算。感受野决定了每个输出像素对应输入图像的区域大小。如果感受野过小，模型无法捕捉全局上下文；过大则可能引入无关信息。在设计或选择网络时，应计算关键层的感受野。

误区三：在量化部署前不检查激活值分布。不同层的激活值分布差异很大，有的层集中在0附近，有的层分布较宽。如果直接使用全局统一的量化范围，会导致较大精度损失。这需要在PTQ校准阶段逐层分析。

总结：CNN的核心在于通过卷积、池化、激活的组合，从局部到全局、从低级到高级地提取图像特征。理解每一层的计算逻辑和数值分布特性，是后续进行量化部署的前提。

2.2 常见图像分类模型简介

2.2.1 核心原理：三大经典架构的设计哲学

ResNet（残差网络）于2015年由何恺明等人提出，核心创新是残差连接（Skip Connection）。传统网络学习的是输入到输出的直接映射H(x)，而ResNet学习的是残差F(x) = H(x) - x，然后通过恒等映射x + F(x)得到输出。这种设计使得梯度可以绕过若干层直接传播，有效解决了深层网络的退化问题。ResNet-50、ResNet-101等变体在ImageNet上取得了突破性成绩，成为工业界应用最广泛的骨干网络之一。

MobileNet系列专为移动端和嵌入式设备设计，核心创新是深度可分离卷积（Depthwise Separable Convolution）。它将标准卷积分解为两个步骤：深度卷积（Depthwise Convolution，每个通道独立卷积）和逐点卷积（Pointwise Convolution，1×1卷积融合通道信息）。这种分解将计算量降低为原来的1/8到1/9，同时保持接近的精度。MobileNetV2进一步引入了倒残差结构（Inverted Residual）和线性瓶颈（Linear Bottleneck），MobileNetV3则结合了神经架构搜索（NAS）和注意力机制。

EfficientNet通过复合缩放（Compound Scaling）方法统一调整网络的深度、宽度和输入分辨率。作者发现，同时增加这三个维度比单独调整某一个维度效果更好。EfficientNet-B0到B7系列在同等精度下参数量和FLOPs远小于前代模型。其核心模块MBConv（Mobile Inverted Bottleneck Convolution）结合了深度可分离卷积和SE（Squeeze-and-Excitation）注意力机制。

2.2.2 判断方法：如何根据场景选择模型

模型选择没有绝对的最优，只有最适合特定场景的方案。以下对比表可以帮助你做出决策：

选择模型时，建议遵循以下步骤：首先明确部署硬件的算力上限（如CPU的GOPS、内存带宽）；然后确定精度底线（如Top-1不低于90%）；接着在满足约束的候选模型中，选择推理延迟最低或参数量最小的方案。此外，还要考虑量化友好性——某些模型（如含大量深度卷积的MobileNet）在量化时精度损失可能比标准卷积更大，需要额外关注。

2.2.3 案例拆解：从ResNet到MobileNet的迁移决策

假设我们正在开发一个工业质检系统，需要在嵌入式设备（如树莓派4B或RK3588）上实时检测产品表面缺陷，缺陷类别共10类，输入图像为320×320。

初始方案：使用ResNet-50作为骨干网络，在服务器上训练达到98.2%的准确率。但部署到嵌入式设备后，单帧推理延迟高达320ms，无法满足实时性要求（目标<50ms）。

分析过程：通过性能剖析发现，ResNet-50的25.6M参数和4.1G FLOPs是主要瓶颈。进一步测试发现，即使使用TFLite的GPU委托（Delegate），延迟也仅降至180ms，仍不达标。

决策与实施：改用MobileNetV3-Large，输入分辨率降至256×256（通过实验验证精度仅下降0.3%）。具体操作：

1. 在TensorFlow中加载MobileNetV3-Large预训练权重，替换分类头为10类输出。
2. 使用迁移学习，冻结前100层，仅训练分类头，学习率设为0.001，训练10个epoch。
3. 解冻全部层，使用更低学习率（0.0001）微调20个epoch。
4. 验证集准确率达到97.8%，满足要求。

结果对比：MobileNetV3-Large在嵌入式设备上推理延迟为38ms，模型文件大小从98MB降至21MB，内存占用降低约60%。

复盘经验：模型选择应基于目标硬件的实际测试数据，而非仅看论文中的FLOPs。此外，输入分辨率是影响延迟的重要因素，在精度允许范围内应尽量降低。

2.2.4 常见误区与总结复盘

误区一：盲目追求最新模型。EfficientNet虽然精度高，但其复杂的SE模块和Swish激活函数在TFLite中的支持可能不完善，导致部署困难。选择模型时应优先考虑TFLite官方支持的算子集。

误区二：忽略输入分辨率的影响。EfficientNet的复合缩放同时调整分辨率，高分辨率输入会显著增加计算量。在部署时，应根据硬件能力适当降低输入尺寸。

误区三：不进行模型结构简化。对于分类任务，可以移除不必要的辅助分支或注意力模块，以换取更快的推理速度。

总结：ResNet、MobileNet、EfficientNet分别代表了精度优先、速度优先和均衡优化的设计思路。在实际项目中，应结合硬件约束、精度要求和部署工具链的支持情况，做出合理选择。

2.3 预训练模型的使用

2.3.1 核心原理：迁移学习的价值与机制

预训练模型（Pre-trained Model）是在大规模数据集（如ImageNet，包含1400万张图像、1000个类别）上预先训练好的模型。其核心价值在于特征迁移：模型在ImageNet上学到的低级特征（边缘、纹理、颜色模式）具有通用性，可以迁移到其他视觉任务中。对于目标数据集较小（如几千张图片）的场景，从头训练一个深度CNN很容易过拟合，而使用预训练模型进行微调（Fine-tuning）可以显著提升泛化能力。

预训练模型的使用方式通常有三种：特征提取器（冻结所有卷积层，仅训练分类头）、微调（解冻部分或全部层，以较低学习率继续训练）、知识蒸馏（将大模型的知识迁移到小模型）。在PTQ量化场景中，预训练模型的权重分布特性直接影响量化误差，因此理解其来源和统计特征非常重要。

2.3.2 判断方法：如何正确加载和使用预训练模型

在TensorFlow/Keras中，加载预训练模型的标准流程如下：

import tensorflow as tf

# 加载预训练模型（不包含分类头）
base_model = tf.keras.applications.MobileNetV3Large(
    input_shape=(224, 224, 3),
    include_top=False,          # 不包含顶部分类层
    weights='imagenet',         # 加载ImageNet预训练权重
    classes=1000
)

# 冻结基础模型
base_model.trainable = False

# 添加自定义分类头
inputs = tf.keras.Input(shape=(224, 224, 3))
x = base_model(inputs, training=False)
x = tf.keras.layers.GlobalAveragePooling2D()(x)
x = tf.keras.layers.Dropout(0.2)(x)
outputs = tf.keras.layers.Dense(10, activation='softmax')(x)

model = tf.keras.Model(inputs, outputs)

# 编译并训练
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001),
              loss='categorical_crossentropy',
              metrics=['accuracy'])

关键注意事项：

• 输入预处理：不同预训练模型要求不同的输入预处理方式。MobileNet系列要求像素值在[-1, 1]范围，ResNet要求使用特定的均值和标准差进行标准化。使用tf.keras.applications.mobilenet_v3.preprocess_input等函数可以确保正确预处理。
• BatchNorm层行为：当冻结基础模型时，必须设置training=False，否则BatchNorm层会使用当前batch的统计量，导致推理结果错误。
• 分类头替换：新数据集的类别数通常与ImageNet不同，需要替换最后的全连接层。如果新数据集与ImageNet类别差异较大（如医学影像），建议解冻更多层进行微调。

2.3.3 案例拆解：使用预训练模型进行花卉分类

假设我们需要构建一个识别5种花卉的分类器，数据集包含每类200张图片（共1000张）。

初始方案：从头训练一个ResNet-50，训练50个epoch后验证准确率仅为82%，且出现过拟合迹象（训练准确率99%，验证准确率82%）。

改进方案：使用ImageNet预训练的ResNet-50进行迁移学习。

1. 加载预训练模型，冻结所有卷积层，仅训练新添加的全连接层（输出5类）。
2. 使用数据增强（随机翻转、旋转、缩放），学习率0.001，训练20个epoch。
3. 验证准确率达到93%。随后解冻最后10个卷积块，以0.0001的学习率微调10个epoch。
4. 最终验证准确率达到96.5%，训练准确率98%，过拟合明显缓解。

关键数据对比：

复盘经验：迁移学习不仅提升了精度，还大幅缩短了训练时间。在量化部署时，微调后的模型权重分布与原始ImageNet模型有所不同，需要重新进行校准。

2.3.4 常见误区与总结复盘

误区一：忘记设置training=False。在冻结模型时，如果未正确设置BatchNorm层的行为，会导致验证和推理时准确率大幅下降。

误区二：学习率设置过高。微调时使用与从头训练相同的学习率（如0.01），容易破坏预训练权重。建议微调学习率不超过0.001，解冻深层时使用更低的0.0001。

误区三：忽略输入尺寸匹配。预训练模型对输入尺寸有固定要求（如224×224），如果使用其他尺寸，需要调整全局池化层或添加自适应池化层。

误区四：在量化前不验证模型精度。预训练模型在浮点精度下表现良好，但量化后可能下降。建议在量化前先保存浮点模型的精度基线，作为量化效果的对比基准。