1. 推理优化概述：轻量推理的需求、常见优化方法、性能指标定义

大家好，我是这次课程的主讲。做了多年AI工程化，我最大的感受就是：模型训练只是开始，真正让模型在用户手里跑起来，才是硬仗。

所谓“轻量推理”，说白了就是把大模型变瘦、变快，让它能在资源有限的设备上干活。你想想看，一个几十GB的模型，怎么塞进手机？怎么在树莓派上实时响应？

我早期参与过一个智能门锁项目。模型在服务器上准确率能到98%，结果一放到门锁的MCU上，跑一次推理要3秒钟。用户手指都按完了，锁还没反应过来。嗯，这就是典型的“推理优化没做好”。

为什么需要轻量推理？

需求其实很明确，就几个核心场景：

• 边缘设备：摄像头、手机、IoT传感器。算力有限，内存小，电池供电。
• 实时响应：自动驾驶、语音助手。延迟超过100ms，体验就崩了。
• 成本控制：云端推理按GPU小时计费。优化好了，能省一大笔钱。
• 隐私保护：数据不上云，在本地处理。这就更需要轻量模型。

常见优化方法概览

方法很多，但万变不离其宗。我个人习惯把它们归为四个方向：

优化方向	核心思路	典型技术
模型压缩	把模型变小	量化、剪枝、蒸馏
推理加速	把计算变快	算子融合、内存复用、并行计算
硬件适配	用好芯片特性	TensorRT、CoreML、ONNX Runtime
部署优化	减少额外开销	模型序列化、动态batch、缓存

我曾经接手过一个项目，团队只做了量化，觉得够了。结果部署到工控机上，帧率还是上不去。后来加了算子融合和内存复用，直接翻倍。所以说，单一方法往往不够，要组合拳。

性能指标定义

做优化，先得知道怎么衡量效果。我常用的指标有这么几个：

• 延迟（Latency）：从输入到输出，花了多少毫秒。分端到端和单次推理两种。
• 吞吐量（Throughput）：单位时间能处理多少请求。常用QPS（每秒查询数）表示。
• 模型体积（Model Size）：参数文件占多大空间。手机端通常要求小于100MB。
• 内存占用（Memory Footprint）：运行时吃掉多少RAM。嵌入式设备可能只有几百KB。
• 精度损失（Accuracy Drop）：优化后比原始模型差了多少。能控制在1%以内就算优秀。

我记得有一次，一个客户只关心延迟，完全不管内存。我把延迟从50ms优化到20ms，但内存涨了3倍。结果他的设备直接OOM了。所以一定要综合看。

轻量推理的整体路径

说了这么多，你可能想问：这几个优化方法，到底按什么顺序来？我一般推荐这样走：

1. 模型选择：一开始就选轻量架构，比如MobileNet、TinyBERT。
2. 模型压缩：对已有模型做量化、剪枝、蒸馏。
3. 推理引擎优化：用ONNX Runtime、TensorRT等工具做图优化。
4. 部署调优：调整batch、内存复用、线程数。
5. 硬件加速：调用NPU、GPU、DSP专用指令。

这个路径不绝对。有时硬件选型会排在前面。你想想看，如果设备根本没有NPU，你花大力气写算子也是白搭。

命令行工具初体验

虽然第一章不打算深入代码，但我觉得有必要让你看看实际优化的工具长什么样。下面是一个典型的ONNX模型优化命令：

python -m onnxruntime.tools.optimize_model \
  --model_path model.onnx \
  --output_path model_optimized.onnx \
  --model_type bert \
  --opt_level 2

这个命令做了什么？简单说就是：图优化、算子融合、常量折叠。我的经验是，大部分模型跑完这一下，延迟能降30%左右，而且精度完全不变。性价比极高。

你也可以用TensorRT的命令行：

trtexec --onnx=model.onnx \
        --saveEngine=model.engine \
        --fp16 \
        --workspace=1024

嗯，这里要注意，--fp16这个参数就是半精度量化。如果用得好，速度翻倍，精度几乎看不出损失。但有些算子不支持，会回退到FP32，这时候就需要人工介入排查。

本节小结

这一章我们聊了轻量推理为什么重要，有哪些优化方法，以及怎么衡量效果。核心就三件事：

• 需求：算力不够、成本要降、体验要快。
• 方法：压缩、加速、适配、部署四管齐下。
• 指标：延迟、吞吐、体积、内存、精度，缺一不可。

我个人觉得，最难的不是学会某个技术，而是面对实际问题时，知道该选哪套组合拳。这一章算是给你画了一张地图，接下来的课程，咱们就一步一步把地图上的每个点都走透。