📚 课程目录第1章模型轻量化概述

1、模型轻量化概述：为什么需要模型轻量化？

大家好，我是这门课的主讲。今天咱们聊聊模型轻量化这件事。

先问一个问题：你辛辛苦苦训练好的模型，放到手机或嵌入式设备上，结果跑不动——卡顿、闪退、内存爆掉。这种情况，我见过太多次了。

说白了，模型轻量化就是给模型「减肥」。让它体积更小、跑得更快、功耗更低。这不是锦上添花，而是很多场景下的刚需。

核心观点：模型轻量化不是可选项，而是部署阶段的必选项。没有轻量化，很多模型根本落不了地。

我刚开始做模型部署时，踩过一个坑。当时把一个 500MB 的检测模型直接丢到手机上，结果加载花了 30 秒，推理一帧要 2 秒。用户反馈说「这 App 是来搞笑的吧？」——嗯，那次之后我就老实了。

具体来说，轻量化的必要性来自三个层面：

你想想看，一个 200MB 的模型在服务器上跑得好好的，放到树莓派上直接 OOM。这不是模型不好，是没做轻量化。

我的经验：判断一个模型是否需要轻量化，先看目标设备的算力和内存。如果模型大小超过设备可用内存的 30%，基本就要做轻量化了。

轻量化不是盲目压缩。我个人习惯把目标拆成三个维度：体积、速度、功耗。这三者互相影响，但侧重点不同。

目标	衡量指标	典型场景	我踩过的坑
体积	模型文件大小（MB）	移动端 App 下载、OTA 升级	曾经把 300MB 模型塞进安装包，被应用商店拒了
速度	推理延迟（ms）、吞吐量（FPS）	实时检测、语音识别、视频处理	量化后模型快了 3 倍，但精度掉了 5%，客户不买账
功耗	单次推理能耗（mJ）、电池续航	可穿戴设备、无人机、智能摄像头	模型在开发板上跑 10 分钟，电池从 100% 掉到 60%

体积是最直观的指标。模型文件越小，加载越快，传输越省流量。

举个例子：一个 100MB 的模型，在 4G 网络下下载需要 20 秒。压缩到 20MB，只要 4 秒。用户体验天差地别。

常用的体积压缩手段包括：

注意：体积压缩不是越低越好。我曾经把模型压到原来的 10%，结果精度从 92% 掉到 60%，完全不可用。轻量化要在精度和体积之间找平衡。

速度决定了模型能不能「实时」。我做过一个行人检测项目，客户要求延迟低于 50ms。原始模型推理要 200ms，剪枝+量化后降到 35ms，这才过了关。

影响速度的因素很多：

我建议你在做轻量化时，别只看 FLOPs。有时候 FLOPs 降了 50%，实际速度只快了 10%。为什么？因为内存带宽成了瓶颈。

功耗在服务器端不太敏感，但在移动端和边缘端是硬指标。

我记得有一次给无人机做视觉模型，电池只有 2000mAh。原始模型飞 15 分钟就没电了。轻量化后，飞行时间延长到 40 分钟。客户说「这才是能用的产品」。

功耗主要来自：

降低功耗最有效的手段是量化和稀疏化。INT8 计算比 FP32 省电 3-5 倍，稀疏矩阵跳过零值计算也能省不少电。

体积、速度、功耗不是独立的。它们互相影响，有时还互相矛盾。

举个例子：剪枝可以减少体积，但稀疏矩阵在某些硬件上反而跑得慢。量化可以同时减体积、提速度、降功耗，但精度损失需要评估。

下面这张图展示了三者的关系：

不是所有场景都需要轻量化。我总结了几条判断标准：

反过来，如果模型跑在云端 GPU 集群上，用户不关心延迟，那轻量化就不是优先事项。

我的建议：做项目前先列一个「轻量化必要性清单」。逐条打勾，如果超过 3 条命中，就老老实实做轻量化。别等到部署时才发现跑不动。

轻量化不是免费的午餐。每次压缩都有代价：

我曾经在一个项目里花了 3 周做量化，精度只掉了 0.5%，但推理速度提升了 4 倍。值不值？值。但如果精度掉 5%，那就得重新评估了。

模型轻量化，说白了就是让模型在受限设备上「活下来」。体积、速度、功耗是三个核心指标，但要根据实际场景取舍。

接下来的课程，我会带你逐一拆解剪枝、量化、蒸馏、算子优化等具体技术。每一步我都会结合真实项目经验来讲，包括那些踩过的坑和绕过的弯路。