1. 课程导论与部署全景

大家好，欢迎来到《模型移植实战：从训练到边缘部署》的第一章。

先问一个问题：你辛辛苦苦训好的模型，最后是怎么跑到用户手里的？

很多人觉得，训练完了就完事了。其实不是。模型训练只是前半场，后半场——部署，才是真正见真章的地方。我个人习惯把部署叫做「模型落地前的最后一公里」。这一公里走不好，前面再好的模型也是白搭。

1.1 什么是模型部署？

模型部署，说白了就是把训练好的深度学习模型，放到目标硬件上跑推理的过程。

听起来简单？嗯，这里要注意。训练和部署的环境差别很大：

我在项目中遇到过不少团队，模型在服务器上跑得飞起，一放到嵌入式设备上就崩了。为什么？因为部署不是简单的「复制粘贴」，它涉及模型格式转换、算子适配、量化压缩、内存优化等一系列工程问题。

1.2 为什么需要边缘部署？

你想想看，现在摄像头、智能音箱、工业传感器，这些设备每天产生多少数据？如果全部上传到云端处理，延迟、带宽、隐私都是大问题。

边缘部署，就是把推理计算放到数据产生的地方去做。好处很明显：

• 低延迟：本地推理，毫秒级响应。自动驾驶如果等云端返回，车早撞了。
• 保护隐私：数据不出设备，人脸、语音、医疗影像更安全。
• 离线可用：没网也能跑。工业现场、偏远地区尤其重要。
• 节省带宽：只传结果，不传原始数据，成本骤降。

我曾经帮一个工厂做质检项目。他们原来用云端方案，一张图片传上去要 2 秒，一天几万张，带宽费吓人。后来换成边缘盒子，本地 50 毫秒出结果，成本直接砍掉 80%。

1.3 边缘部署的挑战

边缘部署听着好，做起来坑不少。我踩过的坑，今天先给你提个醒：

1. 算力受限：边缘设备算力通常是 GPU 的 1/100 甚至更低。模型必须瘦身。
2. 内存紧张：很多嵌入式设备内存只有几百 MB，大模型根本塞不下。
3. 算子兼容：训练框架支持的算子，部署框架不一定支持。经常要手写算子。
4. 精度损失：量化、剪枝之后，精度掉多少？能不能接受？需要反复调。
5. 工具链碎片化：高通、联发科、瑞芯微、地平线……每家都有自己的工具链。

1.4 课程目标与学习路径

这门课的目标很明确：让你从零到一，掌握把模型部署到边缘设备的完整流程。

具体来说，学完这门课，你应该能：

• 独立完成模型格式转换（PyTorch → ONNX → TFLite / TensorRT）
• 掌握量化、剪枝、蒸馏等模型压缩技术
• 能在 ARM、x86、NPU 等不同硬件上部署推理
• 学会性能调优：延迟、吞吐、内存、功耗的平衡
• 了解主流部署框架：TensorRT、NCNN、MNN、TFLite、OpenVINO

下面是这门课的知识体系全景图，我把它画成了 SVG，方便你建立整体认知：

1.5 学习路径建议

这门课一共 30 章，我建议你按这个节奏来：

• 基础篇（第 1-8 章）：部署概念、环境搭建、模型转换入门。打好地基。
• 进阶篇（第 9-18 章）：量化、剪枝、蒸馏、算子适配。开始动手优化。
• 实战篇（第 19-26 章）：在真实硬件上部署，调性能，踩坑填坑。
• 专题篇（第 27-30 章）：多模型协同、安全部署、持续集成。