1. 课程导入
各位同学好,欢迎来到《声学特征提取系统实战》的第一章。说实话,音频处理这个领域,入门门槛不高,但想做好做深,基础必须打牢。我见过太多人一上来就调库、跑模型,结果遇到一点采样率不匹配、量化噪声的问题就抓瞎。嗯,咱们今天就把地基夯实。
1.1 声音的物理特性:频率、振幅、相位
声音的本质是什么?说白了,就是空气分子的振动。这种振动通过介质传播到我们耳朵里,就形成了听觉。描述这种振动,有三个核心物理量:频率、振幅和相位。
- 频率(Frequency):单位时间内振动的次数,单位是赫兹(Hz)。频率决定了音调的高低。人耳能听到的频率范围大约是 20 Hz 到 20 kHz。低于 20 Hz 叫次声波,高于 20 kHz 叫超声波。我在做语音增强项目时,经常需要把采样率从 48 kHz 降到 16 kHz,这时候就得小心滤掉 8 kHz 以上的高频成分,不然混叠进来会很麻烦。
- 振幅(Amplitude):振动的幅度大小,决定了声音的响度(音量)。振幅越大,声音越响。在数字信号里,振幅通常用采样点的数值来表示。
- 相位(Phase):描述振动在某一时刻所处的状态,单位是角度(°)或弧度(rad)。相位本身不直接影响听觉感知,但它对多个声音的叠加、干涉至关重要。比如做波束形成时,麦克风阵列的相位差就是定位声源的关键。
核心关系:一个纯音(单频信号)可以用公式表示为:s(t) = A * sin(2πft + φ),其中 A 是振幅,f 是频率,φ 是相位。这三个参数,就完整描述了一个简谐振动。
1.2 模拟信号与数字信号的区别
自然界的声音是连续的,我们称之为模拟信号。它的特点是时间连续、幅值连续。但计算机只能处理离散的、有限精度的数据。所以,我们需要把模拟信号转换成数字信号。
这个过程,我习惯把它拆成三步:采样、量化、编码。咱们先看一个直观的对比:
| 特性 | 模拟信号 | 数字信号 |
|---|---|---|
| 时间轴 | 连续 | 离散(采样点) |
| 幅值轴 | 连续(无限精度) | 离散(有限精度) |
| 抗干扰能力 | 弱(易受噪声影响) | 强(可纠错、可压缩) |
| 存储与传输 | 困难(易衰减) | 方便(可复制、可压缩) |
| 典型例子 | 磁带、黑胶唱片 | CD、MP3 文件 |
你想想看,为什么现在数字音频全面取代了模拟?核心就是数字信号不怕复制、不怕噪声。我当年调试一个音频采集板,模拟信号走线长了 5 厘米,底噪就大了 3 dB。换成数字传输后,这种问题基本不存在了。
1.3 采样定理(奈奎斯特定理)
这是整个数字信号处理里最重要的定理,没有之一。它的核心思想是:为了能从采样后的离散信号中无失真地恢复出原始连续信号,采样频率必须至少是信号最高频率的两倍。
公式很简单:f_s ≥ 2 * f_max。这个 f_s/2 被称为奈奎斯特频率。
避坑指南:我曾经接手过一个项目,同事用 8 kHz 的采样率去采集一段包含 5 kHz 成分的音频。结果回放时听到一个奇怪的 3 kHz 声音。这就是典型的混叠(Aliasing)——5 kHz 的信号在 8 kHz 采样下,被折叠到了 3 kHz(8 - 5 = 3)。所以,采样前必须加抗混叠滤波器,把高于 f_s/2 的成分滤掉。
常见的音频采样率有:
- 8 kHz:电话语音,覆盖 0-4 kHz,够说话用。
- 16 kHz:宽带语音,语音识别常用。
- 44.1 kHz:CD 音质,覆盖 0-22.05 kHz,满足人耳极限。
- 48 kHz:影视、专业音频制作。
为什么是 44.1 kHz 而不是 44 kHz?这里有个小故事:早期索尼和飞利浦在制定 CD 标准时,为了兼容 PAL 和 NTSC 两种电视制式的录像带存储,最终选定了 44.1 kHz 这个数字。嗯,历史遗留问题,但一直沿用至今。
1.4 量化与编码
采样解决了时间连续的问题,但幅值还是连续的。量化就是把这个连续的幅值,映射到有限个离散的等级上。
量化的精度用位深(Bit Depth)表示。常见的位深有:
- 8 bit:256 个等级,动态范围约 48 dB,音质较差,常见于早期电话或对讲机。
- 16 bit:65536 个等级,动态范围约 96 dB,CD 音质标准。
- 24 bit:16777216 个等级,动态范围约 144 dB,录音棚常用。
量化会产生量化噪声。简单说,就是真实值和量化值之间的误差。位深每增加 1 bit,信噪比(SNR)大约提升 6 dB。所以 16 bit 比 8 bit 的 SNR 高 48 dB。
我的习惯:做语音识别时,16 bit、16 kHz 是黄金组合。做音乐制作或高精度声学测量,我会用 24 bit、48 kHz 或更高。别盲目追求高位深,存储和带宽也是成本。
编码就是把量化后的数值用二进制表示。最简单的就是PCM(脉冲编码调制),直接存储采样值。WAV 文件通常就是 PCM 编码。
1.5 常见音频格式对比
市面上音频格式很多,但核心就两类:无损和有损。咱们直接看表:
| 格式 | 编码方式 | 压缩类型 | 音质 | 文件大小 | 典型应用 |
|---|---|---|---|---|---|
| WAV | PCM(通常) | 无损(未压缩) | 原始音质 | 大 | 录音、编辑、专业制作 |
| FLAC | 线性预测 + 熵编码 | 无损(压缩) | 原始音质 | 约为 WAV 的 50-60% | 音乐存档、发烧友 |
| MP3 | 感知编码(MDCT + 心理声学模型) | 有损 | 取决于码率(128-320 kbps) | 小 | 网络传输、便携播放 |
| AAC | 改进的感知编码 | 有损 | 同码率下优于 MP3 | 小 | 视频流、Apple 生态 |
我个人在项目中,原始数据一定存 WAV 或 FLAC。WAV 处理起来最快,不需要解码开销。FLAC 适合归档,能省一半空间。MP3 和 AAC 只用于最终交付或测试,因为每次有损压缩都会丢失信息,不适合做特征提取。
一句话总结:做音频算法开发,永远用 WAV(PCM 编码)作为中间格式。别偷懒用 MP3 做训练数据,那点空间省下来,换来的是模型性能的下降,不值当。
1.6 本章知识体系总览
下面这张图,把本章的核心逻辑串起来了。从物理世界的声音,到计算机里的数字信号,每一步都对应一个关键概念。
这张图把本章的脉络理清了。从物理世界的频率、振幅、相位出发,经过采样、量化、编码三步,最终落地到具体的音频文件格式。每一步都有坑,但每一步也都有对应的数学工具和工程实践来填坑。