4. 声纹模型选型：i-vector/PLDA、x-vector、ECAPA-TDNN 对比

做声纹识别这几年，我最大的感触就是：选模型就像选工具。锤子再好，也不能当螺丝刀用。今天咱们就把三个主流架构——i-vector/PLDA、x-vector、ECAPA-TDNN——掰开揉碎聊清楚。

先别急着追新。我见过不少团队，上来就上 ECAPA-TDNN，结果数据量不够，效果反而不如老方法。选型这事，得看场景、看数据、看资源。

4.1 i-vector/PLDA 架构：老将出马

i-vector 这套东西，说白了就是把语音特征压缩成一个低维向量。它不直接建模说话人，而是建模「说话人 + 信道」的联合空间。嗯，这里要注意：i-vector 本身不是说话人向量，它包含了信道信息，所以后面需要 PLDA 来「去噪」。

我个人习惯把 i-vector 流程拆成三步：

1. 提取 Baum-Welch 统计量：用 UBM（通用背景模型）算每个语音帧的后验概率。
2. 投影到低维空间：通过总变化子空间矩阵 T，得到 i-vector。
3. PLDA 打分：用概率线性判别分析做信道补偿，输出相似度分数。

我在项目中遇到过一个小团队，只有 500 人的数据，用 i-vector/PLDA 做到了 95% 的识别率。换成 x-vector 反而掉到了 92%。为什么？因为深度学习模型在小数据下容易过拟合，而 i-vector 的统计建模天生就抗噪。

维度	i-vector/PLDA	x-vector	ECAPA-TDNN
数据需求	低（~500人可用）	中（~2000人起步）	高（~5000人以上）
推理速度	快（CPU 可跑）	中（GPU 推荐）	慢（需 GPU）
信道鲁棒性	中（依赖 PLDA）	较好	强（SE-Res2Block）
模型大小	~10MB	~50MB	~100MB+
训练复杂度	低	中	高

4.2 x-vector 架构：承上启下

x-vector 是深度学习在声纹领域的「破冰者」。它用 DNN 替代了传统的 GMM-UBM，但保留了「帧级 -> 段级」的聚合思路。你想想看，这不就是 i-vector 的神经网络版本吗？

核心结构其实不复杂：

• 帧级网络：几层 TDNN 提取局部时域特征。
• 统计池化层：计算所有帧的均值和标准差，把变长输入变成固定长度。
• 段级网络：几层全连接，输出说话人分类。

我刚开始用 x-vector 时犯过一个错：直接把 i-vector 的 400 维设成 x-vector 的 embedding 维度。结果训练不稳定，loss 死活降不下去。后来改成 512 维，配合 AM-Softmax，效果才上来。这里有个经验：x-vector 的 embedding 维度建议 256~512，太小欠拟合，太大过拟合。

# x-vector 核心结构（简化版）
class XVector(nn.Module):
    def __init__(self, input_dim=40, embedding_dim=512):
        super().__init__()
        # 帧级网络：5层 TDNN
        self.tdnn1 = nn.Conv1d(input_dim, 512, kernel_size=5, dilation=1)
        self.tdnn2 = nn.Conv1d(512, 512, kernel_size=3, dilation=2)
        self.tdnn3 = nn.Conv1d(512, 512, kernel_size=3, dilation=3)
        self.tdnn4 = nn.Conv1d(512, 512, kernel_size=1, dilation=1)
        self.tdnn5 = nn.Conv1d(512, 1500, kernel_size=1, dilation=1)
        
        # 统计池化
        self.pool = StatsPool()
        
        # 段级网络
        self.fc1 = nn.Linear(3000, 512)
        self.fc2 = nn.Linear(512, embedding_dim)
        
    def forward(self, x):
        # x: (batch, frames, feat_dim)
        x = x.permute(0, 2, 1)  # (batch, feat_dim, frames)
        x = self.tdnn1(x)
        x = self.tdnn2(x)
        x = self.tdnn3(x)
        x = self.tdnn4(x)
        x = self.tdnn5(x)
        x = self.pool(x)  # (batch, 3000)
        x = self.fc1(x)
        x = self.fc2(x)
        return x

4.3 ECAPA-TDNN：当前王者

ECAPA-TDNN 是 2020 年提出的，说白了就是 x-vector 的「全面增强版」。它解决了 x-vector 的几个痛点：

• 通道注意力：SE-Res2Block 让模型关注重要的频带。
• 多尺度特征融合：不同层的特征拼在一起，信息更丰富。
• 改进的统计池化：加了标准差和注意力权重，不只是均值和方差。

我记得第一次跑 ECAPA-TDNN 时，看到参数量是 x-vector 的 3 倍，心里直打鼓。但实际效果确实惊艳——在 VoxCeleb 上，EER 从 x-vector 的 3.2% 降到了 0.8%。不过代价也很明显：训练时间翻了 4 倍。

为什么会这样？因为 SE-Res2Block 里的「残差 + 注意力」计算量不小。你想想看，每个 block 都要做 squeeze、excitation、scale，层数一多，GPU 显存就吃紧了。

# ECAPA-TDNN 核心模块：SE-Res2Block
class SERes2Block(nn.Module):
    def __init__(self, channels, kernel_size=3, scale=8):
        super().__init__()
        self.conv1 = nn.Conv1d(channels, channels, kernel_size=1)
        self.conv2 = nn.Conv1d(channels, channels, kernel_size, 
                               groups=channels//scale, padding=kernel_size//2)
        self.conv3 = nn.Conv1d(channels, channels, kernel_size=1)
        
        # SE 模块
        self.se = nn.Sequential(
            nn.AdaptiveAvgPool1d(1),
            nn.Conv1d(channels, channels//8, kernel_size=1),
            nn.ReLU(),
            nn.Conv1d(channels//8, channels, kernel_size=1),
            nn.Sigmoid()
        )
        
    def forward(self, x):
        residual = x
        x = self.conv1(x)
        x = self.conv2(x)
        x = self.conv3(x)
        scale = self.se(x)
        return residual + x * scale

4.4 架构对比与选型建议

说了这么多，到底怎么选？我画了张图，帮你理清思路。

最后给个实操建议：

• 刚起步、数据少（<1000人）：别折腾，直接上 i-vector/PLDA。调好 UBM 和 T 矩阵，效果不会差。
• 中等规模（1000~5000人）：x-vector 是性价比之王。配合数据增强（加噪、变速），效果能接近 ECAPA。
• 大厂、竞赛、高精度场景：上 ECAPA-TDNN。但要做好心理准备——训练时间可能是 x-vector 的 3~5 倍。