1. 课程导论与行业背景

大家好，欢迎来到这门课。

先说说我为什么想开这门课。过去五年，我一直在跟模型压缩和边缘部署打交道。从早期的智能摄像头，到后来的工业质检设备，再到车路协同的路侧单元——说白了，就是怎么把那些动辄几百兆的深度学习模型，塞进算力只有几TOPS的小盒子里，还得跑得又快又准。

这个过程，踩坑无数。所以这门课，我想把那些实战中摸出来的经验，系统地讲给你听。

1.1 为什么我们需要模型压缩？

你想想看，一个典型的ResNet-50，FP32精度，参数量25.6M，模型体积接近100MB。在云端，用V100显卡推理一次只要几毫秒。但放到边缘端呢？

边缘设备的算力通常只有0.5 TOPS到10 TOPS，内存可能只有512MB，带宽更是捉襟见肘。直接把云端模型搬过去，结果就是：要么内存溢出，要么推理延迟高到无法接受。

我在一个智慧零售项目里遇到过这种情况。客户要求用一块Jetson Nano跑一个实时商品识别模型。原模型是EfficientDet-D3，参数量26M，在Nano上推理一帧要800ms。这显然不行。后来我们用了混合精度量化+通道剪枝，模型体积压缩了4倍，延迟降到了120ms，精度只掉了0.3%。嗯，这就是压缩的价值。

1.2 边缘部署的现状：百花齐放，但碎片化严重

现在的边缘硬件市场，说实话，有点乱。各家都有自己的SDK和工具链，互不兼容。我整理了一个主流平台的对比表，你感受一下：

硬件平台	典型算力	推理框架	量化支持	我的评价
NVIDIA Jetson (Xavier/Orin)	21~275 TOPS	TensorRT	INT8/FP16	生态最成熟，但贵
Qualcomm Snapdragon (8系列)	10~30 TOPS	SNPE / QNN	INT8	手机端首选，文档略坑
Rockchip RK3588	6 TOPS (NPU)	RKNN	INT8	国产性价比之王，但算子覆盖不全
Hailo-8	26 TOPS	HailoRT	INT8	专用AI加速器，延迟极低
Apple Neural Engine	~15 TOPS	CoreML	INT8/FP16	闭源，黑盒，但效果不错

这张表想说明什么？没有银弹。每个平台都有自己的脾气。你在TensorRT上优化好的模型，换到RKNN上可能直接报错。所以，掌握通用的压缩原理和调优方法论，比死磕某个特定工具链重要得多。

1.3 当前面临的主要挑战

做模型压缩和边缘部署，说白了就是一场“戴着镣铐跳舞”。我总结了四个最头疼的问题：

1. 精度损失不可控：量化、剪枝、蒸馏，这些操作都会引入误差。有时候压缩完模型精度掉1%，业务方就炸了。我曾经把一个检测模型从FP32量化到INT8，精度掉得不多，但边界框的置信度分布变了，导致后处理阈值全得重调。这很坑。
2. 硬件适配成本高：同一个模型，在A平台量化完，换到B平台可能得重新校准。不同平台对算子的支持程度天差地别。比如某些平台不支持Softmax的INT8实现，你就得手动改网络结构。
3. 工具链不成熟：很多厂商的量化工具就是个黑盒。你输入一个模型，它输出一个量化后的模型，中间发生了什么？不知道。出了问题，你只能靠猜。
4. 实时性与功耗的平衡：边缘设备往往对功耗有严格要求。你为了降低延迟，把模型剪得太狠，结果精度不够用；你为了保精度，模型太大，功耗又超标。这个平衡点，需要反复试。

1.4 机遇：边缘AI的黄金时代

虽然挑战很多，但机会更大。为什么？

• 数据隐私法规趋严：GDPR、个人信息保护法，都在倒逼数据在本地处理。边缘AI是唯一合规的路径。
• 网络带宽瓶颈：高清视频流、海量IoT数据，全传云端不现实。边缘预处理+云端精处理，是主流架构。
• 硬件性能飞跃：现在的边缘芯片，算力已经达到几十TOPS，接近几年前的云端显卡水平。这给模型压缩留下了更多空间。
• 大模型催生新需求：LLM、VLM这些大模型，也开始往端侧迁移。虽然现在还很早期，但这是一个明确的趋势。

我个人判断，未来三年，边缘AI的市场规模会翻两番。现在入局，正是时候。

1.5 本章知识体系：一张图看懂

下面这张图，概括了模型压缩与边缘部署的核心知识脉络。你可以把它当作整个课程的地图：

1.6 这门课能给你什么？

这门课不是纯理论课。我会带你走完一个完整的流程：从模型量化、剪枝、蒸馏，到在TensorRT、RKNN、CoreML等框架上部署，再到性能分析和调优。

每一章都会有：

• 核心原理：用最直白的话讲清楚技术本质。
• 实战代码：可运行的Python/C++示例，你可以在自己的设备上复现。
• 避坑经验：我在项目中踩过的坑，直接告诉你哪里容易出问题。
• 性能数据：不同方案在真实硬件上的延迟、吞吐、功耗对比。