2. 端侧语音基础
端侧语音模型与云端语音服务的核心差异在于：模型必须在有限的算力、内存和功耗约束下完成实时推理。这意味着我们不能简单地将云端使用的复杂特征工程和超大模型直接移植到手机、耳机或IoT设备上。理解语音信号从物理声波到模型输入张量的完整转换链路，是部署任何端侧语音模型的第一步。本章将系统梳理语音信号处理的基础概念、MFCC特征的提取原理与工程实现，并明确关键词识别（KWS）与音频分类（AC）两类任务的定义边界与评价体系。
语音信号数字化与前端预处理
语音信号本质上是模拟声波，端侧设备通过麦克风（MEMS或驻极体）将声压变化转换为电信号，再经ADC（模数转换器）采样为离散数字序列。采样率决定了频率分辨率的上限——根据奈奎斯特定理，可表示的最高频率为采样率的一半。端侧语音任务中，8kHz采样率（电话语音）足以覆盖人声主要频段（300Hz-3.4kHz），而16kHz或48kHz则用于音乐、环境声等更宽频带的任务。量化位深通常为16bit，对应约96dB动态范围，满足绝大多数场景需求。
原始采样信号不能直接送入模型，必须经过三个关键预处理步骤：
- 预加重：语音信号的高频分量能量通常较低，预加重滤波器（典型系数α=0.97）提升高频成分，使频谱更平坦，有利于后续特征提取的数值稳定性。公式为 y[n] = x[n] - α·x[n-1]。
- 分帧：语音信号具有短时平稳性（10-30ms内可视为平稳），因此将连续信号切分为25ms的帧，帧移10ms（即相邻帧有15ms重叠），避免帧边界处的信息丢失。例如1秒语音可产生约100帧。
- 加窗：直接截断会产生频谱泄漏，需对每帧乘以汉明窗（Hamming Window）或汉宁窗（Hann Window），使帧两端平滑过渡到零。汉明窗表达式为 w[n] = 0.54 - 0.46·cos(2πn/(N-1))。
MFCC特征提取：从频谱到倒谱
梅尔频率倒谱系数（MFCC）是语音识别和音频分类中最经典的特征表示。其核心思想是模拟人耳对频率的非线性感知——人耳对低频变化更敏感，对高频变化较迟钝。MFCC提取流程包含五个关键步骤：
- FFT（快速傅里叶变换）：对每帧加窗后的信号做N点FFT（通常N=512或1024），得到频谱幅度。功率谱为幅度平方，表示各频率分量的能量分布。
- Mel滤波器组：将功率谱通过一组三角带通滤波器（通常40-64个），滤波器中心频率在Mel刻度上等间距排列。Mel频率与线性频率的转换关系为：Mel(f) = 2595·log₁₀(1 + f/700)。滤波器组模拟了人耳基底膜对不同频率的响应特性。
- 对数压缩：对每个滤波器的输出取自然对数，将乘法关系转换为加法关系，同时压缩动态范围，使特征对音量变化更鲁棒。
- DCT（离散余弦变换）：对对数能量向量做DCT，去除各维度之间的相关性，将能量集中到前几个系数中。通常保留13维静态系数。
- 动态特征扩展：计算一阶差分（Δ）和二阶差分（ΔΔ），捕捉特征的时序变化趋势。最终特征维度为13×3=39维，或与滤波器组维度一致（如40维静态+40维Δ+40维ΔΔ=120维）。
| 参数项 | 典型值 | 端侧优化建议 |
|---|---|---|
| 采样率 | 16kHz | KWS可用8kHz降低计算量 |
| 帧长 / 帧移 | 25ms / 10ms | 帧移可调至20ms减少计算频率 |
| FFT点数 | 512 | 256点可满足8kHz采样 |
| Mel滤波器数量 | 40 | 20-26个在端侧足够 |
| 静态特征维数 | 13 | 可只保留静态特征（无差分） |
| 归一化方式 | 全局均值方差 | 流式场景用滑动窗口统计 |
在端侧部署时，MFCC提取的计算瓶颈主要在FFT和滤波器组乘法。对于Cortex-M4级别的MCU，可预先计算滤波器组系数为定点整数，避免浮点运算；对于带DSP指令集的处理器，可使用CMSIS-DSP库中的优化FFT函数。SNPE框架本身不提供特征提取功能，开发者需自行实现或集成第三方库（如KissFFT、librosa的C++移植版）。
关键词识别（KWS）任务定义与工程约束
关键词识别（Keyword Spotting, KWS）的目标是从连续音频流中检测预设的唤醒词或命令词。与完整语音识别不同，KWS只需识别有限词汇集（通常1-20个词），因此模型规模可以大幅压缩。KWS任务的核心挑战在于：在极低误唤醒率（FAR）的前提下保持高召回率（Recall），同时满足实时性和功耗约束。
KWS的典型工作流程为：音频流按帧滑动 → 每帧提取MFCC特征 → 累积固定窗口（如1秒，约100帧） → 送入分类模型 → 输出置信度 → 后处理（平滑/阈值判断） → 触发唤醒。模型结构通常采用深度可分离卷积（DS-CNN）、时间卷积网络（TCN）或轻量级循环网络（GRU）。Google的Hello Edge基准测试显示，在Cortex-M7上运行DS-CNN模型，参数量约54K，模型大小约217KB，单次推理延迟约2.5ms，功耗约1.8mW。
- FAR（False Acceptance Rate）：非唤醒词被误判为唤醒词的概率。在智能音箱场景中，FAR需低于0.5次/小时，否则用户体验极差。
- FRR（False Rejection Rate）：真实唤醒词被漏检的概率。FRR过高会导致用户重复唤醒，通常要求低于5%。
- ROC曲线与AUC：通过调整置信度阈值，绘制FAR与FRR的权衡曲线。端侧部署时需根据产品需求选择工作点。
- 实时因子（RTF）：处理1秒音频所需的时间。RTF必须小于1，且通常要求低于0.3以保证系统有足够余量处理其他任务。
KWS的端侧部署还需考虑多唤醒词支持、说话人无关性、噪声鲁棒性等问题。实际工程中，常采用两级唤醒策略：第一级用极轻量模型（如仅基于能量和过零率的VAD）做粗筛，第二级用KWS模型做精确判断，从而进一步降低平均功耗。
音频分类（AC）任务定义与场景适配
音频分类（Audio Classification, AC）的任务范围比KWS更广，它需要对任意音频片段进行场景或事件类别标注。典型类别包括：环境声（交通噪声、雨声、风声）、生物声（婴儿哭声、狗吠、鸟鸣）、工业声（机器故障、玻璃破碎）以及音乐流派等。与KWS的"有限词汇+二分类"不同，AC通常是多分类问题，类别数从几个到上百个不等。
AC任务的输入通常为固定时长的音频片段（如1-5秒），模型输出为各类别的概率分布。在端侧部署中，AC模型常与KWS模型共享前端特征提取模块，但分类头结构不同。例如，一个智能婴儿监护设备可能同时运行KWS（检测"宝宝醒了"）和AC（检测哭声、咳嗽声、环境异常声），两个模型共享MFCC特征，但分别输出不同的标签空间。
AC模型的端侧设计需特别注意类别不平衡问题——某些类别（如正常环境声）出现频率远高于目标事件（如玻璃破碎声）。解决方案包括：使用Focal Loss调整难样本权重、在数据采集阶段进行类别均衡采样、或在后处理中引入先验概率修正。此外，AC模型对音频时长的敏感性较高，短片段（<0.5秒）可能无法提供足够的判别信息，因此需根据任务特性设计合适的上下文窗口。
案例拆解：智能家居中控屏的KWS+AC联合部署
某智能家居厂商需要在中控屏（搭载高通QCS610平台，集成SNPE运行时）上实现"语音唤醒+场景感知"功能。产品需求为：支持"小智管家"和"关闭窗帘"两个唤醒词，同时识别室内场景（电视声、空调声、婴儿哭声、异常撞击声）。硬件约束为：NPU算力约1TOPS，内存预算50MB，整机功耗增加不超过200mW。
初始方案与问题：团队最初分别训练了KWS模型（DS-CNN，输入40维MFCC，1秒窗口）和AC模型（MobileNetV2，输入64维Mel谱，3秒窗口），各自部署后总内存占用达68MB，超出预算。且两个模型同时运行时，NPU负载超过80%，导致唤醒响应延迟达到800ms，远超产品要求的300ms。
分析与优化过程：
- 特征统一：将AC模型的输入从64维Mel谱改为与KWS相同的40维MFCC，虽然单类准确率下降约1.2%，但特征提取模块可完全复用，节省了约12MB内存。
- 共享主干：将DS-CNN的前4层卷积作为共享主干，KWS和AC各自接不同的全连接分类头。共享主干参数量为38K，KWS头为16K，AC头为24K，总参数量78K，模型文件仅312KB（INT8量化后）。
- 流式推理调度：KWS以100ms为周期进行滑动窗口推理（每10帧特征推理一次），AC以1秒为周期进行整段推理。通过SNPE的异步执行接口，将KWS推理放在NPU高优先级队列，AC推理放在低优先级队列，确保唤醒响应优先。
- 阈值与后处理：KWS采用双阈值策略——检测到置信度>0.8立即唤醒，0.5-0.8之间则等待下一帧确认。AC采用滑动平均平滑输出，避免单帧误判。
结果对比：优化后总内存降至41MB，NPU峰值负载降至55%，唤醒响应延迟稳定在220ms左右。KWS唤醒率从98.2%微降至97.5%（仍满足要求），FAR从0.3次/小时降至0.2次/小时。AC的Top-1准确率从91.5%降至90.1%，但婴儿哭声检测的召回率从88%提升至91%（得益于共享主干的正则化效果）。
复盘经验：端侧多任务部署的核心不是追求单模型最优，而是追求系统级资源效率最优。共享特征和共享主干是降低内存和算力开销最有效的手段，但需要仔细评估任务间的兼容性。此外，流式推理的调度策略对用户体验影响巨大，必须将延迟敏感任务（KWS）与延迟容忍任务（AC）明确区分优先级。
总结与常见误区
本章内容为后续SNPE模型转换和量化部署奠定了信号处理基础。需要重点掌握的知识点包括：语音信号的数字化参数选择、MFCC的完整提取流程及其端侧优化方法、KWS与AC的任务定义差异和评价体系。在实际项目中，以下误区需要特别注意：
- 误区一：盲目追求高维特征。端侧模型的特征维度并非越高越好，40维MFCC在多数任务中已足够，增加维度只会增加计算量和内存带宽压力。
- 误区二：忽略预处理与模型训练的匹配。训练时使用的特征参数（帧长、滤波器数量、归一化方式）必须与端侧推理时完全一致，否则会导致严重的性能下降。建议在训练脚本中导出特征提取配置JSON，部署时直接加载。
- 误区三：将KWS和AC完全割裂。如前文案例所示，共享主干和特征模块能显著降低资源消耗，应在项目初期就进行联合设计。
- 误区四：忽视流式处理中的状态管理。KWS和AC的滑动窗口需要维护帧缓冲区，若缓冲区管理不当（如未正确处理帧重叠），会导致特征拼接错误，产生难以排查的推理异常。
在下一阶段的课程中，我们将基于本章的MFCC特征和任务定义，进一步探讨如何将这些模型转换为SNPE可执行的DLC格式，并针对NPU/DSP进行INT8量化与精度调优。建议读者在继续学习前，先自行完成一个简单的MFCC提取器实现，并验证不同参数对特征可视化结果的影响，这将极大帮助理解后续的模型部署细节。