3. Whisper模型原理： Whisper的架构、编码器-解码器、注意力机制、多语言支持与模型变体

Whisper是于2022年开源的大规模弱监督语音识别模型，其核心设计目标并非追求极致的推理速度，而是通过海量多语言、多任务数据训练，获得极强的泛化能力和鲁棒性。在STM32等嵌入式平台上部署Whisper，首先需要理解其Transformer架构的运作机制、编码器与解码器的分工、注意力机制的计算方式，以及不同模型变体在参数量与精度上的取舍。只有透彻掌握这些原理，才能在资源受限的MCU上做出合理的剪枝、量化和部署决策。

上图展示了Whisper模型的整体推理链路。音频信号经过16kHz采样和Log-Mel频谱提取后，被送入编码器进行特征编码；编码器输出的特征序列再通过交叉注意力机制与解码器交互，最终自回归地生成目标文本。整个架构基于标准的Transformer Encoder-Decoder结构，但针对语音任务做了若干关键适配。下面我们从架构细节、注意力计算、多语言机制和变体选择四个维度展开深入分析。

3.1 Whisper的编码器-解码器架构

Whisper的编码器负责将原始音频信号转换为高维特征表示。其输入并非原始波形，而是经过预处理的Log-Mel频谱图。具体流程为：音频以16kHz采样率输入，每30秒为一个处理窗口，通过短时傅里叶变换（STFT）计算80通道的Mel滤波器组，再取对数得到Log-Mel特征。这个特征矩阵的维度为3000×80（时间帧×频率通道），随后经过两层卷积神经网络（Conv1D）进行下采样和通道扩展，将时间维度压缩至1500帧，特征维度提升至512维。

编码器主体由12个Transformer编码块堆叠而成。每个编码块包含两个子层：多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Network，FFN）。自注意力机制让每个时间帧都能关注到整个序列中的其他帧，从而捕捉长距离的语音依赖关系。例如，在识别"今天天气怎么样"这句话时，编码器需要将"今天"和"天气"的声学特征关联起来，即使它们在时间上相隔较远。FFN则对每个位置的特征进行非线性变换，增强模型的表达能力。编码器输出的1500×512维特征序列，包含了音频的语义和声学信息，为解码器提供"记忆"。

解码器采用自回归生成方式，即逐个地预测输出文本。其结构同样由12个Transformer解码块组成，但每个解码块包含三个子层：掩码自注意力（Masked Self-Attention）、交叉注意力（Cross-Attention）和FFN。掩码自注意力确保模型在预测第i个时，只能看到前i-1个，防止信息泄露。交叉注意力则是解码器与编码器交互的桥梁：解码器的查询向量（Query）与编码器输出的键值对（Key-Value）进行注意力计算，从而定位到音频中与当前生成最相关的部分。这种机制使得Whisper能够实现音频到文本的精准对齐。

3.2 注意力机制的计算与作用

注意力机制是Whisper模型的核心计算单元。其基本公式为：Attention(Q, K, V) = softmax(QK^T / √d_k) × V。其中Q（Query）表示查询向量，K（Key）表示键向量，V（Value）表示值向量，d_k为键向量的维度。计算过程分为三步：首先将Q与所有K做点积，得到相似度分数；然后除以√d_k进行缩放，防止梯度消失；最后通过softmax归一化为权重，与V加权求和得到输出。

在Whisper中，注意力机制以多头（Multi-Head）形式实现。模型将512维的特征拆分为8个头，每个头处理64维子空间。不同头关注不同的语义维度：有的头可能关注音素级别的声学特征，有的头关注词级别的语义关联，还有的头关注说话人的韵律信息。多头机制让模型能够从多个角度同时理解语音内容，显著提升了识别精度。

编码器中的自注意力是双向的，即每个时间帧可以关注整个序列的所有帧。这对于语音识别至关重要，因为一个音素的发音往往受到前后音素的影响（协同发音现象）。例如，英文单词"speech"中的/p/音，在发音时受到/s/和/iː/的影响，发音位置会发生细微变化。双向注意力让模型能够同时考虑上下文，准确识别这些变体。

解码器中的掩码自注意力则是单向的（因果注意力）。在生成第i个时，模型只能看到前i-1个，不能看到未来的。这保证了生成过程的因果性，符合语言生成的逻辑顺序。交叉注意力则让解码器在生成每个时，都能"回看"编码器输出的音频特征，实现音频与文本的对齐。例如，在生成"hello"的"h"时，交叉注意力会聚焦到音频中"h"发音对应的帧上。

注意力类型	位置	Q来源	K/V来源	作用
自注意力	编码器	输入特征	输入特征	捕捉音频帧间时序依赖
掩码自注意力	解码器	已生成	已生成	保证自回归因果性
交叉注意力	解码器	解码器隐状态	编码器输出	对齐音频与文本特征

3.3 多语言支持与任务统一

Whisper的多语言能力源于其训练策略和特殊的设计。模型在训练时使用了超过68万小时的多语言音频数据，覆盖99种语言。为了区分不同语言，Whisper在输入序列前添加了特殊，如<|en|>表示英语，<|zh|>表示中文，<|ja|>表示日语。这些语言让模型在解码时能够根据目标语言调整发音和词汇选择。

除了语言，Whisper还引入了任务来统一多种语音任务。模型可以执行语音识别（<|transcribe|>）、语音翻译（<|translate|>）、语言识别（<|lang|>）和时间戳预测（<|timestamps|>）等任务。这种多任务学习方式让模型共享底层特征表示，提升了泛化能力。例如，在训练语音翻译时，模型学会了将英语音频映射为中文文本，这种跨语言的对齐能力反过来也增强了语音识别的鲁棒性。

Whisper还支持零样本（Zero-shot）跨语言迁移。即使某种语言在训练数据中占比很少，模型也能通过语言的引导和共享的注意力机制，实现基本的识别功能。这是因为模型学习到了通用的声学-语义映射关系，而非简单的记忆。对于中文识别，Whisper在普通话和粤语上都有不错的表现，但在方言和口音较重的场景下，准确率会有所下降。

3.4 模型变体对比与嵌入式选型

Whisper官方提供了5种不同规模的模型变体：tiny、base、small、medium和large。它们的参数量、计算量和精度依次递增，但部署难度也随之增大。对于STM32嵌入式平台，我们需要在精度和资源之间做出权衡。

模型变体	参数量	编码器层数	解码器层数	注意力头数	量化后大小	STM32可行性
tiny	39M	4	4	6	~40MB	可行（需外部Flash）
base	74M	6	6	8	~75MB	勉强可行（需大容量存储）
small	244M	12	12	12	~250MB	不可行（需外部NPU）
medium	769M	24	24	16	~1.5GB	不可行
large	1550M	32	32	20	~3GB	不可行

以STM32H743为例，该芯片拥有2MB RAM和2MB Flash，主频480MHz。直接运行tiny模型（40MB）需要外挂QSPI Flash存储权重，同时将模型逐层加载到RAM中执行。由于RAM容量有限，需要采用"边加载边推理"的流式执行策略，即每次只加载一层Transformer的权重到RAM，计算完再加载下一层。这种策略虽然可行，但会引入Flash读取延迟，导致推理速度下降。

对于更复杂的base模型（75MB），STM32H7的2MB RAM无法容纳完整的中间激活值。此时需要借助外部SDRAM（如32MB的IS42S16400J）来存储中间特征图。但SDRAM的带宽远低于内部RAM，会进一步拖慢推理速度。因此，在实际项目中，我们通常建议使用tiny模型，并配合INT8量化将权重压缩至40MB以内，同时将输入音频裁剪为10秒以内的短片段，以降低计算量。

3.5 案例拆解：在STM32H7上部署tiny模型的中文识别

下面我们通过一个实际案例，展示如何在STM32H7平台上部署Whisper tiny模型，实现中文语音关键词识别。该案例的目标是识别"开灯"、"关灯"、"调亮"、"调暗"四个控制指令，用于智能家居场景。

项目背景与约束：设备采用STM32H743VIT6（2MB RAM，2MB Flash，480MHz），外接W25Q128（16MB QSPI Flash）存储模型权重，使用INMP441数字麦克风采集音频。系统要求响应时间小于3秒，识别准确率不低于90%。由于MCU资源有限，我们选择tiny模型并进行了以下优化：

1. 模型裁剪：移除翻译任务分支，仅保留中文转写路径；将语言固定为<|zh|>，减少解码搜索空间。
2. INT8量化：使用TensorRT或ONNX Runtime的量化工具，将FP32权重转换为INT8格式，模型大小从78MB压缩至40MB。
3. 音频预处理：将采样率从16kHz降为8kHz（针对中文语音频段优化），Log-Mel特征维度从80降至40，减少编码器输入尺寸。
4. 流式推理：将编码器拆分为4个Transformer块，逐块加载到RAM执行，避免一次性加载全部权重。

实施过程：首先在PC端使用Whisper官方代码库导出ONNX模型，然后通过ONNX Runtime的C API在STM32上运行。由于STM32没有操作系统，我们使用CMSIS-RTOS V2创建两个任务：音频采集任务和推理任务。音频采集任务以16kHz采样率连续采集1秒音频，存入双缓冲区；推理任务从缓冲区读取数据，进行Log-Mel特征提取，然后调用Whisper模型推理。推理结果通过UART发送到上位机或直接控制GPIO。

性能测试结果：在480MHz主频下，单次推理耗时约2.1秒（包含特征提取和模型推理），满足3秒响应要求。在安静环境下，四个指令的平均识别准确率为93.5%；在60dB噪声环境下，准确率降至85.2%，通过增加简单的VAD（语音活动检测）模块，准确率回升至89.7%。Flash读取延迟是主要瓶颈，占总耗时的45%。

复盘与经验：该案例表明，Whisper tiny模型在STM32H7上可以实现基本可用的中文关键词识别。但需要注意：一是模型裁剪必须谨慎，移除任务分支时要确保不影响主任务精度；二是INT8量化会带来约1-2%的精度损失，可通过量化感知训练（QAT）缓解；三是流式推理虽然节省RAM，但增加了Flash读取次数，建议使用内存映射（Memory-Mapped）模式提高读取速度。