📚 课程目录第3章 DeepSORT特征提取网络替换与效果对比

3. DeepSORT特征提取网络替换与效果对比

任务目标

在DeepSORT多目标跟踪流程中，特征提取网络（ReID模型）直接影响目标重识别能力，进而决定跟踪ID切换（ID Switch）的频率。本案例将DeepSORT默认的ReID网络替换为两种备选结构——轻量型MobileNetV2和更强力的ResNet50，并在相同视频序列上对比三者对ID稳定性的影响。

环境与依赖

需要可运行的DeepSORT基础代码库（含检测器接口、卡尔曼滤波与匈牙利匹配模块）。本案例聚焦ReID网络替换，因此假设已具备以下依赖：

Python 3.8+，PyTorch 1.9+，torchvision
已安装deep_sort包或具有其源码目录结构（包含deep_sort/deep/子模块）
一个测试视频或图像序列（建议包含行人交叉、遮挡场景）

核心实现

DeepSORT的ReID网络在deep_sort/deep/feature_extractor.py中定义。默认使用torchvision.models.resnet50（分类层被替换为512维嵌入）。我们通过修改该文件中的模型构建逻辑，实现网络替换，并保持输出维度一致（均为512维），以复用后续的余弦距离度量与级联匹配流程。

# feature_extractor.py 关键修改部分
import torch
import torch.nn as nn
import torchvision.models as models

class FeatureExtractor(nn.Module):
    def __init__(self, model_name='resnet50', use_cuda=True):
        super().__init__()
        self.model_name = model_name
        self.use_cuda = use_cuda
        
        # 根据model_name构建不同的backbone
        if model_name == 'resnet50':
            # 默认DeepSORT结构
            backbone = models.resnet50(pretrained=True)
            self.features = nn.Sequential(
                backbone.conv1, backbone.bn1, backbone.relu,
                backbone.maxpool, backbone.layer1, backbone.layer2,
                backbone.layer3, backbone.layer4
            )
            self.final = nn.Sequential(
                backbone.avgpool,
                nn.Flatten(),
                nn.Linear(2048, 512),  # 输出512维
                nn.BatchNorm1d(512),
                nn.ReLU()
            )
        elif model_name == 'mobilenetv2':
            # 轻量级网络
            backbone = models.mobilenet_v2(pretrained=True)
            self.features = backbone.features  # 输出通道1280
            self.final = nn.Sequential(
                nn.AdaptiveAvgPool2d((1, 1)),
                nn.Flatten(),
                nn.Linear(1280, 512),
                nn.BatchNorm1d(512),
                nn.ReLU()
            )
        elif model_name == 'resnet50_strong':
            # 更强力版本：使用更大的嵌入维度并加入Dropout
            backbone = models.resnet50(pretrained=True)
            self.features = nn.Sequential(
                backbone.conv1, backbone.bn1, backbone.relu,
                backbone.maxpool, backbone.layer1, backbone.layer2,
                backbone.layer3, backbone.layer4
            )
            self.final = nn.Sequential(
                backbone.avgpool,
                nn.Flatten(),
                nn.Linear(2048, 1024),
                nn.BatchNorm1d(1024),
                nn.ReLU(),
                nn.Dropout(0.2),
                nn.Linear(1024, 512),
                nn.BatchNorm1d(512)
            )
        else:
            raise ValueError(f"Unsupported model: {model_name}")
        
        # 初始化最后的BN层
        for m in self.final.modules():
            if isinstance(m, nn.BatchNorm1d):
                nn.init.constant_(m.weight, 1)
                nn.init.constant_(m.bias, 0)
    
    def forward(self, x):
        # 输入x: [batch, 3, H, W]，需归一化到ImageNet分布
        x = self.features(x)
        x = self.final(x)
        # L2归一化，便于余弦距离计算
        x = nn.functional.normalize(x, p=2, dim=1)
        return x

# 在deep_sort/deep/__init__.py或tracker构建处传入model_name参数
# 例如：extractor = FeatureExtractor(model_name='mobilenetv2')

运行与对比方法

将上述代码替换到deep_sort/deep/feature_extractor.py中，并确保deep_sort/deep/__init__.py中的build_feature_extractor函数接受model_name参数并实例化对应模型。
准备测试视频，运行跟踪脚本（需传入--model_name参数）：

# 运行跟踪（以YOLOv4检测器为例）
python track.py --source test.mp4 --deep_sort_model resnet50 --output out_default.mp4
python track.py --source test.mp4 --deep_sort_model mobilenetv2 --output out_light.mp4
python track.py --source test.mp4 --deep_sort_model resnet50_strong --output out_strong.mp4

验证指标与判定标准

使用MOT评估工具或手动统计以下指标，对比三个输出视频：

ID Switch次数：目标在跟踪过程中ID跳变的次数，越低越好。
跟踪时长：同一目标被连续跟踪的帧数。
处理速度（FPS）：在相同硬件下测量，MobileNetV2应显著快于ResNet50。

通过条件：在包含遮挡或交叉的测试片段中，resnet50_strong的ID Switch次数应低于默认resnet50，而mobilenetv2的FPS应高于默认resnet50（允许ID Switch略增）。若三者指标差异不明显，需更换更复杂的测试序列（如MOT16数据集片段）重新验证。

预期输出示例

以下为基于代码逻辑的预期趋势（非实测值）：

模型              ID Switch次数    平均FPS
resnet50          12              18.5
mobilenetv2       19              32.0
resnet50_strong   8               14.2

实际数值取决于视频内容与硬件，但趋势应满足：轻量网络速度更快但ID稳定性略降，强力网络ID稳定性最优但速度最慢。