1. 课程导入

各位同学好，我是这门课的主讲。今天咱们聊聊语音算法部署这件事。

很多人觉得，模型训练出来就完事了。其实不是。训练只是第一步，真正让模型在手机、音箱、服务器上跑起来，才是硬仗。我见过太多团队，训练精度刷到98%，一部署到嵌入式设备直接掉到70%。嗯，这就是部署要解决的问题。

什么是语音算法部署

说白了，就是把训练好的语音模型——比如语音识别、唤醒词检测、声纹识别——转换、优化、打包，然后放到目标设备上运行。这个过程中，你要保证它跑得快、占得少、不掉精度。

我习惯把部署拆成三个环节：

• 模型转换：把PyTorch、TensorFlow的模型转成中间表示，比如ONNX
• 模型优化：量化、剪枝、算子融合，让模型变轻
• 运行时集成：把优化后的模型嵌入到应用代码里

举个例子。你训练了一个唤醒词模型，在GPU上跑一次推理只要5毫秒。但放到智能音箱上，CPU算力弱，内存也小。如果不做部署优化，一次推理可能要200毫秒——用户喊完"小爱同学"，音箱两秒后才反应，这谁受得了？

部署的挑战与目标

我在项目中遇到过不少坑。有一次部署KWS模型到ARM Cortex-M4芯片，模型大小只有200KB，但RAM只有64KB。你想想看，模型加载进去就占了150KB，留给音频缓存和中间特征的空间几乎为零。最后不得不把模型切成两段，分段推理。

语音算法部署的挑战，我总结为四点：

挑战	具体表现	我的经验
硬件碎片化	不同芯片支持的算子不同，ARM、x86、NPU各有各的指令集	曾经在RK3588上跑得好好的模型，换到树莓派上直接报算子不支持
实时性要求	语音是流式数据，推理延迟必须低于音频帧长	一般要求单次推理 < 20ms，否则会有明显卡顿
资源限制	嵌入式设备RAM常小于256MB，Flash小于2MB	模型量化后精度掉1-2%是常态，需要反复调
精度与速度的权衡	量化、剪枝都会掉精度，但能大幅提速	我一般先做INT8量化，如果精度掉太多再退回到FP16

部署的目标其实很清晰：在目标硬件上，达到实时推理，同时保持精度损失在可接受范围内。什么叫可接受？唤醒词模型掉0.5%以内算正常，声纹识别掉1%以内可以接受。

主流部署框架介绍

目前业界主流的部署框架有三个：ONNX、TensorRT、TFLite。我按自己的使用经验，给你讲讲它们的定位和适用场景。

ONNX（Open Neural Network Exchange）

ONNX 说白了就是模型界的"通用语言"。不管你是用PyTorch训练，还是用TensorFlow训练，都能转成ONNX格式。它的核心价值在于中间表示——让你摆脱框架绑定。

我个人的习惯是：所有模型先转ONNX，再做后续优化。为什么？因为ONNX的算子集覆盖了绝大多数语音模型需要的操作，而且几乎所有推理引擎都支持导入ONNX。

# PyTorch 转 ONNX 示例
import torch
import torchaudio

model = torchaudio.models.Wav2Letter(num_classes=29)
model.eval()

# 构造一个 dummy 输入
dummy_input = torch.randn(1, 1, 16000)

torch.onnx.export(
    model,
    dummy_input,
    "wav2letter.onnx",
    input_names=["input"],
    output_names=["output"],
    dynamic_axes={"input": {2: "audio_length"}}
)

注意这里我加了 dynamic_axes，因为语音输入的音频长度是变化的。如果不加，ONNX模型就只能接受固定长度输入——这在流式场景下根本没法用。

TensorRT

TensorRT 是NVIDIA家的优化引擎，专门针对GPU。它的杀手锏是算子融合和INT8量化。我在部署语音端点检测模型时，用TensorRT的INT8量化，推理速度从5ms降到了1.2ms，精度只掉了0.3%。

但要注意，TensorRT只支持NVIDIA GPU。如果你部署在嵌入式设备上，比如Jetson系列，那TensorRT是首选。如果是CPU或者ARM设备，就别想了。

# TensorRT 构建引擎示例
import tensorrt as trt

logger = trt.Logger(trt.Logger.WARNING)
builder = trt.Builder(logger)
network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))

parser = trt.OnnxParser(network, logger)
with open("wav2letter.onnx", "rb") as f:
    parser.parse(f.read())

config = builder.create_builder_config()
config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 << 30)  # 1GB

# 开启 INT8 量化
config.set_flag(trt.BuilderFlag.INT8)

engine = builder.build_serialized_network(network, config)

TFLite

TFLite 是Google为移动端和嵌入式设备准备的。它支持Android、iOS、ARM Linux，甚至能跑在微控制器上。TFLite的核心优势是轻量和跨平台。

我在部署唤醒词模型到智能音箱时，用的就是TFLite。模型从Keras转成TFLite，再量化到INT8，大小从5MB压缩到1.2MB，在Cortex-A53上推理时间从80ms降到15ms。

# TensorFlow 转 TFLite 示例
import tensorflow as tf

# 加载 Keras 模型
model = tf.keras.models.load_model("kws_model.h5")

# 转换并量化
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.float16]

tflite_model = converter.convert()

with open("kws_model.tflite", "wb") as f:
    f.write(tflite_model)

这里我用了 tf.float16 量化，而不是INT8。为什么？因为那个唤醒词模型对量化特别敏感，INT8掉精度太多，FP16刚好能接受。

三个框架的对比

框架	目标硬件	核心优势	适用场景	我的推荐
ONNX	通用（CPU/GPU/ARM）	中间表示，框架无关	模型转换、跨平台迁移	所有项目先用ONNX做中间格式
TensorRT	NVIDIA GPU	算子融合、INT8量化、极致性能	服务器端、Jetson嵌入式	GPU场景首选，延迟可降50-80%
TFLite	移动端、嵌入式、MCU	轻量、跨平台、硬件加速	手机App、智能音箱、IoT设备	ARM设备首选，生态成熟

本章知识体系

下面这张图，是我梳理的语音算法部署整体流程。你可以把它当作后续章节的导航图。

从这张图你能看到，整个部署流程是线性的：训练 → 转换 → 优化 → 部署。但每个环节都有坑。比如转换时算子不兼容，优化时精度掉太多，部署时内存不够用。这些我们后面都会一一拆解。

好了，第一章就到这里。记住一句话：部署不是终点，而是让模型真正产生价值的起点。后面我们会深入每个框架的实战细节，包括量化调参、算子适配、流式推理优化等。到时候我会把踩过的坑、试过的方案，都摊开来跟你讲。