1. 课程导入
各位同学，欢迎来到《语音算法从入门到应用精讲》的第一章。我是你们这门课的主讲，在语音领域摸爬滚打了十来年。今天咱们先不急着写代码，而是把整个语音算法的地图摊开，看看它到底是个什么东西。
说实话，我刚入行那会儿，觉得语音算法特别神秘。你对着手机说句话，它就能听懂，还能给你回一句——这背后到底发生了什么？其实说白了，就是把声音这种物理信号，变成计算机能理解的数字，再从中提取出有用的信息。整个过程环环相扣，缺一不可。
1.1 语音信号基础：声音的本质
声音是什么？说白了就是空气的振动。你说话的时候，声带在振动，带动周围的空气分子一推一拉，形成疏密波。这个波传到麦克风里，麦克风再把机械振动转成电信号。
但计算机不认识模拟信号，它只认0和1。所以我们需要做一件事——采样和量化。
核心概念速览
- 采样率：每秒采集多少个声音样本。常见的有8kHz（电话）、16kHz（语音识别）、44.1kHz（CD音质）。
- 量化精度：每个样本用多少位二进制数表示。16位是主流，32位用于专业录音。
- 声道数：单声道、双声道（立体声）、多声道（环绕声）。
举个例子。我早期做过一个电话语音识别项目，甲方坚持用8kHz采样。结果模型训练出来，识别率死活上不去。后来一查，8kHz只能保留0-4kHz的频率信息，而很多辅音（比如/s/、/f/）的能量集中在4kHz以上。嗯，这就是典型的采样率不够导致的「信息丢失」。
我的建议：做语音识别，采样率至少用16kHz。做声纹识别，建议用16kHz或更高。别为了省那点存储空间，把关键信息给丢了。
还有一个基础概念叫奈奎斯特采样定理——采样率必须大于信号最高频率的两倍，才能无失真地重建原始信号。你想想看，如果信号最高频率是8kHz，采样率至少得16kHz。这是硬约束，绕不过去的。
1.2 语音算法发展史：从模板匹配到深度学习
语音算法不是一天建成的。我把它分成四个阶段，用一张图来展示。
我个人的体会是，每个阶段的跨越都伴随着一个核心痛点的解决。比如GMM-HMM时代，最大的问题是「特征工程」——你得手工设计MFCC、PLP这些特征，调参调到怀疑人生。DNN出现后，模型自己学会了提取特征，这就是所谓的表示学习。
避坑指南：我曾经在一个项目里死磕GMM-HMM的调参，花了两个月。后来换成DNN方案，一周就搞定了。不是说传统方法没用，而是你要清楚——在工业界，效果和效率同样重要。别为了情怀选过时的技术栈。
1.3 语音算法应用场景
语音算法不是实验室里的玩具。它已经渗透到我们生活的方方面面。我按技术方向给大家梳理一下。
| 技术方向 | 典型应用 | 核心挑战 | 成熟度 |
|---|---|---|---|
| 语音识别 (ASR) | 智能音箱、语音输入、会议转写 | 噪声鲁棒性、口音适应、远场识别 | ★★★★☆ |
| 语音合成 (TTS) | 导航播报、有声书、虚拟主播 | 自然度、情感表达、实时性 | ★★★★☆ |
| 声纹识别 | 银行身份认证、门禁系统、刑侦 | 防伪造、跨信道、短语音 | ★★★☆☆ |
| 语音增强 | 通话降噪、助听器、会议系统 | 非平稳噪声、低延迟、计算量 | ★★★★☆ |
| 语音分离 | 鸡尾酒会问题、智能耳机 | 多人重叠、实时分离 | ★★★☆☆ |
| 情感识别 | 客服质检、心理健康、人机交互 | 标注数据稀缺、文化差异 | ★★☆☆☆ |
这里我想多说一句。很多人觉得语音识别已经「做完了」，准确率都97%了。但实际落地的时候，你会发现——实验室的97%和真实场景的97%完全是两码事。我在做车载语音项目时，高速公路上开窗的风噪、发动机的轰鸣、后排小孩的哭闹……这些噪声叠加在一起，识别率直接掉到80%以下。所以，鲁棒性才是工业界的真命题。
1.4 学习路径与工具链
好，地图看完了，咱们聊聊怎么学。我见过太多人一上来就啃论文，结果一个月就放弃了。我的建议是——先动手，再理论。
推荐学习路径
- 基础期（1-2周）：理解数字信号处理基础（采样、FFT、滤波器），会用Python读取和播放音频文件。
- 入门期（2-4周）：跑通一个简单的语音识别管线（特征提取 → 声学模型 → 解码），推荐用Kaldi或WeNet。
- 进阶期（1-2个月）：深入理解端到端模型（CTC、RNN-T、Attention），自己训练一个小型ASR系统。
- 实战期（持续）：参与开源项目，或者用真实数据做调优。我建议从语音增强入手，因为数据好找，效果直观。
工具链方面，我整理了一份清单。
| 类别 | 推荐工具/库 | 说明 |
|---|---|---|
| 音频处理 | librosa, torchaudio, soundfile | 读取、特征提取、变换 |
| 语音识别 | WeNet, Whisper, Kaldi, ESPnet | 端到端/传统管线 |
| 语音合成 | VITS, FastSpeech, Tacotron2 | 声学模型 + 声码器 |
| 声纹识别 | SpeechBrain, ResNetSE, ECAPA-TDNN | 说话人嵌入提取 |
| 语音增强 | DeepFilterNet, DCCRN, Conv-TasNet | 时域/频域降噪 |
| 评估工具 | WER/CER计算, PESQ, STOI, MOS | 客观/主观指标 |
个人习惯：我平时做实验喜欢用 torchaudio 做数据加载，配合 WeNet 做训练和推理。WeNet 的代码写得比较干净，适合初学者阅读。另外，别怕看源码——我当年就是靠读Kaldi的源码入门的，虽然过程很痛苦，但收获巨大。
最后，关于学习工具，我推荐几个资源：
- 数据集：LibriSpeech（英文）、AISHELL（中文）、Common Voice（多语种）
- 论文：关注 ICASSP、Interspeech、ASRU 三大会议
- 社区：GitHub上的开源项目、知乎上的语音专栏、还有咱们这门课的讨论区