1. 声音的本质:从物理到数字的第一步

各位同学好,我是这门课的主讲。做了十几年声学特征提取,我越来越觉得——理解声音的本质,比会调任何模型都重要。今天咱们就从最根儿上的东西聊起。

1.1 声波到底是什么?

声音说白了就是振动。你敲桌子,桌子在振;你说话,声带在振。这些振动通过空气分子一个传一个,最后传到我们耳朵里。我刚开始学的时候总觉得这概念太虚,直到有一次在消声室做实验——那地方安静得能听见自己心跳,我才真正体会到:声音就是空气分子在跳舞。

描述这段舞蹈,有三个核心参数:

  • 频率:每秒振多少次,单位是赫兹(Hz)。人耳能听到的大概是20Hz到20kHz。低于20Hz叫次声波,高于20kHz叫超声波。我做过一个项目,客户非要用超声波做语音唤醒,结果发现麦克风阵列根本收不到——嗯,这就是没搞懂频率范围。
  • 振幅:振动的幅度,决定了声音的响度。振幅越大,声音越响。但注意,人耳对响度的感知不是线性的,这个后面会细讲。
  • 相位:振动在时间轴上的位置。两个同频声波,相位不同,叠加后可能增强也可能抵消。我在做麦克风阵列波束成形时,相位差算错1度,整个方向图就歪了——血的教训。

核心概念:频率决定音调,振幅决定响度,相位决定声波之间的相互作用。这三个参数,是后面所有声学特征的基础。

1.2 时域与频域——看声音的两个视角

同一个声音,你可以从两个完全不同的角度去看它。

时域:横轴是时间,纵轴是振幅。这就是我们最常见的波形图。我早期做语音识别时,整天盯着波形看,试图从波形里找出音素的规律——后来发现这基本是徒劳。波形里信息太杂了,人眼根本看不出来。

频域:横轴是频率,纵轴是能量(或幅度)。这就是频谱图。频域告诉我们:这个声音里包含了哪些频率成分,每个成分有多强。你想想看,一个钢琴的中央C和一个小提琴的中央C,波形完全不同,但频谱里基频都是261.6Hz——这就是频域的魅力。

时域和频域之间怎么转换?傅里叶变换。这个后面会专门讲,今天先记住一句话:时域是表象,频域是本质。

我的经验:做声学特征提取,90%的工作是在频域里完成的。时域更多用来做端点检测、静音切除这类预处理。别在时域里死磕特征,那是走弯路。

1.3 采样定理——模拟到数字的桥梁

现实世界的声音是连续的(模拟信号),但计算机只能处理离散的(数字信号)。怎么把连续的变成离散的?采样。

采样有个铁律,叫奈奎斯特采样定理:采样频率必须大于信号最高频率的两倍,否则会发生混叠。

举个例子:人声最高频率大概8kHz,那采样率至少得16kHz。CD音质的44.1kHz是怎么来的?人耳上限20kHz,44.1kHz刚好大于两倍,再留点余量。

应用场景 常用采样率 最高频率 说明
电话语音 8 kHz 4 kHz 够用,但音质差
语音识别 16 kHz 8 kHz 行业标准
音乐CD 44.1 kHz 22.05 kHz 覆盖人耳范围
高清音频 96 kHz 48 kHz 留足余量

避坑指南:我曾经接手过一个项目,采集的语音数据采样率只有8kHz,但信号里混入了15kHz的噪声。结果下采样后,15kHz的噪声被折叠到了7kHz附近,怎么滤都滤不掉。后来一查,是ADC前端的抗混叠滤波器坏了。记住:采样前一定要加抗混叠滤波器,这是铁律。

1.4 量化——把连续值变成离散值

采样解决了时间上的离散化,但每个采样点的幅度还是连续的。量化就是把这些连续的幅度值,映射到有限个离散的等级上。

量化精度用位深表示。16位量化就是2^16=65536个等级,24位就是16777216个等级。位深越高,动态范围越大,信噪比越高。

量化会引入量化噪声。这个噪声的功率跟量化步长有关,步长越小噪声越小。我做过一个实验:同样的信号,16位量化后做特征提取,跟32位浮点比,MFCC的前几维系数差了不到0.1dB——但到了高维系数,误差就明显了。所以如果你做精细的声学分析,建议用24位或32位浮点。

关键公式:量化信噪比 SNR ≈ 6.02 × N + 1.76 dB,其中N是位深。16位量化理论SNR约98dB,实际能做到90dB就算不错了。

1.5 知识体系总览

下面这张图,把本章的核心逻辑串起来了。我建议你把它存下来,后面每学一章都回来对照一下。

声学特征提取知识体系(第1章) 声音本质 频率 振幅 相位 两个分析视角 时域 频域 模拟→数字 采样 量化 核心定理:奈奎斯特采样定理 输出:离散数字信号 后续章节:傅里叶变换 → 滤波器组 → MFCC 本章是声学特征提取的基石,后续所有算法都建立在这些概念之上

1.6 本章小结

这一章我们聊了三个核心问题:

  1. 声音是什么——频率、振幅、相位三个物理量决定了声音的全部信息。
  2. 怎么看声音——时域直观但信息杂乱,频域抽象但揭示本质。两者通过傅里叶变换连接。
  3. 怎么存声音——采样定理决定了采样率的下限,量化决定了精度的上限。这两个参数选错了,后面再怎么处理都救不回来。

给新手的建议:如果你刚开始做声学特征提取,先别急着调模型。花一周时间,把采样率、位深、频谱图这些基础概念吃透。我见过太多人,模型调得飞起,结果发现问题是采样率不够——这种坑,踩一次就够了。