📚 课程目录第2章语音信号基础

语音信号基础：语音的产生机理、声学特性与数字表示

语音信号处理与TTS声学模型的研究，始于对人类发声机制与语音物理属性的深刻理解。无论是构建传统的拼接合成系统，还是训练端到端的神经网络声学模型，其底层都依赖于对语音信号产生过程、声学特征以及数字化表示方式的精确建模。本章将系统梳理语音从“生理产生”到“物理传播”，再到“数字存储”的完整链路，为后续学习特征提取、声学建模与波形生成奠定坚实的理论基础。

2.1 语音的产生机理：从生理到声学的映射

语音的产生是一个复杂的生物物理过程，涉及呼吸系统、发声系统和调音系统的协同工作。理解这一过程的核心在于建立“激励-滤波”模型，该模型也是现代语音信号处理与TTS声学模型的理论基石。

2.1.1 核心原理：激励-滤波模型

语音产生的经典模型将发声过程抽象为三个级联的子系统：激励源（声源）、声道滤波器和辐射模型。激励源由肺部气流驱动声带振动产生，声道（从喉部到嘴唇的管道）则通过改变形状对激励信号进行频谱整形，最后经嘴唇辐射形成声波。

浊音（Voiced）：声带周期性开合产生准周期脉冲串，基频（F0）决定音高，典型范围男性80~200Hz，女性150~350Hz。声道滤波后形成具有明显共振峰结构的频谱。
清音（Unvoiced）：声带不振动，气流通过声道狭窄处产生湍流噪声，频谱呈宽带噪声特性，无周期性。
爆破音（Plosive）：声道完全闭合后突然释放，产生瞬态脉冲，如/p/、/t/、/k/。

在TTS声学模型中，神经网络的输入特征（如F0、清浊音标志）正是对这一激励源参数的显式或隐式建模。例如，FastSpeech 2 将F0和能量作为额外条件输入，以提升合成语音的自然度和韵律表现。

2.1.2 声道调制与共振峰

声道可视为一个截面积可变的声管，其谐振频率称为共振峰（Formant）。前三个共振峰（F1、F2、F3）对元音音色起决定性作用。例如，/a/的F1约800Hz、F2约1200Hz，而/i/的F1约300Hz、F2约2300Hz。在声学模型中，共振峰结构直接反映在频谱包络上，MFCC特征正是通过倒谱分析解耦激励与声道信息，提取出声道形状的紧凑表示。

经验提示：在语音合成中，若目标说话人基频较高（如儿童音色），需注意频谱搬移带来的共振峰偏移问题。直接修改F0而不调整频谱包络会导致“鼠语”效应（Mickey Mouse Effect），应使用PSOLA或神经声码器中的F0条件机制进行联合建模。

2.2 语音的声学特性：时域与频域的双重视角

语音信号是非平稳的随机过程，但在短时（10~30ms）内可视为平稳。这一特性决定了所有语音处理算法必须采用“分帧+加窗”的策略。

2.2.1 时域特性

参数	典型值/范围	物理意义
短时能量	0~10⁵（归一化）	区分清音/浊音/静音
短时过零率	浊音低（<10次/帧），清音高（>30次/帧）	辅助判断清浊音边界
基音周期	2~20ms	决定音高感知
幅度范围	±1.0（归一化）	动态范围约40dB

2.2.2 频域特性

语音频谱具有明显的谐波结构（浊音段）和共振峰包络。在TTS特征提取中，通常使用512点或1024点FFT计算功率谱，再通过Mel滤波器组（通常40~80个三角滤波器）模拟人耳听觉特性，得到Fbank特征。进一步取对数并做DCT，得到MFCC（通常13维，含一阶、二阶差分共39维）。

  工程实践要点：在训练声学模型时，Fbank特征比MFCC保留更多细节，更适合作为神经网络输入。MFCC因DCT去相关特性，更适合用于GMM-HMM等传统模型。当前主流TTS（如VITS、FastSpeech 2）均采用Fbank或Mel谱作为中间表征。

2.3 数字语音信号的表示与采样定理

将模拟语音转换为数字信号需经过采样、量化和编码三个步骤。采样定理（奈奎斯特定理）是这一过程的数学基石。

2.3.1 采样定理与抗混叠

设模拟信号最高频率为 f_max，则采样率 f_s 必须满足 f_s ≥ 2f_max，否则频谱发生混叠（Aliasing）。语音信号经带通滤波后，有效带宽通常限制在300~3400Hz（电话语音），因此8kHz采样率即可满足要求。对于TTS系统，为保留更多高频细节（如齿音、唇齿音），通常采用16kHz或24kHz采样率。

// 采样率选择示例（Python伪代码）
fs_telephone = 8000   # 电话语音，带宽300~3400Hz
fs_wideband  = 16000  # 宽带语音，带宽50~7000Hz
fs_studio    = 48000  # 录音室级，带宽20~20000Hz

# 抗混叠滤波器设计（截止频率 = fs/2 * 0.9）
from scipy.signal import firwin
cutoff = fs_wideband * 0.45
taps = firwin(64, cutoff, fs=fs_wideband)

2.3.2 量化与信噪比

量化位数决定动态范围和信噪比（SNR）。16bit量化提供96dB的理论SNR，满足绝大多数语音应用需求。24bit量化用于高动态范围录音，但会增加存储和计算开销。在TTS中，16bit PCM是标准格式，神经声码器（如HiFi-GAN）输出层通常使用16bit线性量化。

风险提示：在低比特率场景（如8bit量化）下，背景噪声会被放大为“颗粒感”失真。若必须使用低比特率，建议先进行噪声门限处理或使用μ-law压扩（如G.711标准），以提升小信号量化精度。

2.4 案例拆解：从模拟录音到TTS训练数据的构建

假设我们需要为一个中文TTS系统录制高质量训练语料，目标采样率16kHz，16bit量化。以下为完整处理流程：

录音环境：使用隔音棚，背景噪声低于30dB(A)，麦克风距离15cm，频响平坦。
前端采集：通过音频接口以48kHz/24bit录制，保留足够动态余量（峰值-6dBFS）。
离线处理：使用SoX或librosa进行重采样至16kHz，先经过截止频率7.2kHz的FIR低通滤波器（防止混叠），再抽取。
静音切除：基于短时能量（阈值-35dBFS）和过零率检测语音端点，保留前后各50ms padding。
响度归一化：将语音段RMS归一化至-26dBFS（符合ITU-R BS.1770标准），避免训练数据响度不一致。
质量校验：人工试听抽检5%数据，检查是否存在削波、爆音、房间混响过重等问题。

该流程产出的数据可直接用于训练FastSpeech 2或VITS等模型。若跳过抗混叠滤波直接降采样，会导致高频噪声折叠到有效频带内，使合成语音出现“嘶嘶”声，且难以通过后处理消除。

2.5 常见误区与总结复盘

误区	后果	正确做法
认为采样率越高越好	计算量增大，且超出麦克风/扬声器物理极限	根据应用场景选择：TTS用16kHz，电话用8kHz
忽略预加重	高频段能量弱，影响清音特征提取	使用一阶高通滤波器 y[n]=x[n]-0.97x[n-1]
帧长设置不当	帧过长（>50ms）导致非平稳；帧过短（<10ms）频率分辨率不足	25ms帧长+10ms帧移为通用标准
量化位数不足	背景噪声被量化，信噪比下降	至少16bit，录音室建议24bit

本章从语音的生理产生机制出发，建立了激励-滤波模型，并详细阐述了语音的时频域特性。数字化的采样、量化与编码过程是连接模拟世界与计算世界的桥梁。理解这些基础概念，是后续学习短时傅里叶分析、Mel谱特征提取以及神经声学模型的前提。在实际工程中，务必重视采样率选择、抗混叠滤波和量化精度的平衡，这些看似基础的决策将直接影响最终合成语音的质量上限。