1. 端侧推理概述
大家好，我是你们这期课程的主讲。在AI领域摸爬滚打了十几年，我亲眼见证了推理从云端巨型集群一步步「瘦身」到我们口袋里的手机。今天咱们就来聊聊这个趋势的起点——端侧推理。
说白了，端侧推理就是把训练好的AI模型，放到手机、IoT设备、汽车这些边缘设备上直接运行，而不是把数据传到云端去算。你想想看，你对着手机说「嘿Siri」，如果每次都要等数据上传、云端处理、再返回结果，那体验得多糟糕？
核心定义：端侧推理是指在终端设备上本地执行深度学习模型的推理过程，无需依赖云端服务器。它让AI真正「长」在了设备上。
1.1 为什么我们需要端侧推理？
我记得2017年刚接触移动端AI时，业内普遍认为「手机跑不动大模型」。但几年下来，情况完全变了。原因其实很直接：
- 延迟敏感：自动驾驶的刹车决策，你敢等云端返回吗？延迟超过100ms就可能出事故。
- 隐私保护：医疗影像、人脸数据传到云端，用户不放心。GDPR一出台，很多公司慌了。
- 离线可用：电梯里、地铁上没信号，App照样能用人脸解锁、实时翻译。
- 带宽成本：每天几亿台设备同时传视频流，云服务器扛不住，流量费也吓人。
嗯，这里要注意，并不是所有场景都适合端侧推理。比如训练大模型，还是得靠云端。但推理这一步，往端侧迁移是大势所趋。
1.2 端侧推理的三大挑战
理想很丰满，现实很骨感。我在项目中遇到过太多「模型在服务器上跑得飞起，一上手机就卡成PPT」的情况。总结下来，端侧推理主要面临三个硬骨头：
算力瓶颈
云端有A100、H100这些怪兽级GPU，端侧呢？手机SoC里的NPU算力可能只有几TOPS，IoT设备更是只有几十MOPS。你想想看，一个ResNet-50在V100上推理只要几毫秒，放到Cortex-M4上可能要几秒钟。
我的经验：我曾经把一个YOLOv5模型直接塞进智能摄像头，结果帧率只有0.5 FPS。后来不得不做量化、剪枝、算子替换，才勉强跑到15 FPS。端侧优化，说白了就是「螺蛳壳里做道场」。
功耗墙
云端服务器不在乎功耗，但手机电池就那么大。NPU全速跑10分钟，手机可能就烫得拿不住了。功耗和性能之间，永远在博弈。
- 典型手机NPU峰值功耗：2-5W
- 持续推理建议控制在：1W以内
- IoT设备（如耳机）：< 100mW
内存与存储限制
云端模型动辄几百MB甚至GB级别，端侧呢？手机App能分给模型的内存通常只有几十到几百MB。IoT设备更惨，可能只有几MB的RAM。模型太大，根本装不下。
避坑指南：我曾经在移植一个BERT模型到手机时，没注意中间激活张量的大小。结果模型加载成功了，一推理就OOM崩溃。后来才发现，一个Transformer层的中间激活就占了200MB内存。所以，不仅要看模型大小，还要看峰值内存占用。
1.3 端侧推理的应用场景
聊完挑战，咱们看看实际落地情况。我按设备类型分了三类，每一类都有完全不同的优化策略。
手机与平板
这是目前最成熟的端侧推理场景。从人脸解锁、美颜相机到实时语音翻译，手机上的AI功能越来越多。
| 应用 | 典型模型 | 延迟要求 | 优化重点 |
|---|---|---|---|
| 人脸解锁 | MobileFaceNet | < 50ms | 低延迟、低功耗 |
| 实时翻译 | Tiny-Transformer | < 200ms | 内存优化、流式处理 |
| 超分辨率 | ESPCN | < 100ms | 计算量压缩 |
我个人习惯在手机端优先使用厂商提供的NPU加速库，比如高通SNPE、联发科NeuroPilot。它们对自家芯片的优化，比通用框架好得多。
IoT与可穿戴设备
智能音箱、智能手表、耳机、摄像头……这些设备算力更弱，但功耗要求极其苛刻。我做过一个智能门锁项目，用MCU跑轻量级人脸识别，整个推理功耗必须控制在50mW以内。
- 典型芯片：Cortex-M4/M7、ESP32、RP2040
- 常用框架：TensorFlow Lite Micro、CMSIS-NN
- 模型大小：通常 < 1MB
小技巧：在IoT设备上，模型量化几乎是必选项。从FP32降到INT8，模型大小直接缩水4倍，推理速度也能提升2-3倍。代价是精度损失，但通常可以控制在1%以内。
自动驾驶与车载
这是端侧推理最「硬核」的场景。一辆L4级自动驾驶汽车，每秒要处理来自摄像头、激光雷达、毫米波雷达的TB级数据。所有推理必须在车上完成，因为网络延迟不可接受。
我记得有一次调试一个车道线检测模型，在Jetson Orin上跑得好好的，一上实车就发现帧率抖动严重。后来排查发现是散热问题——车内温度高了，芯片降频了。嗯，这提醒我们，端侧优化不能只盯着算法，还得考虑物理环境。
- 典型芯片：NVIDIA Orin、地平线征程5、Mobileye EyeQ
- 延迟要求：感知模块 < 30ms，控制模块 < 10ms
- 安全等级：ASIL-D（功能安全最高等级）
1.4 端侧推理的知识体系总览
为了让大家对后续课程有个整体印象，我画了一张图。它展示了端侧推理从「模型」到「部署」的核心链路。
从这张图可以看得很清楚：端侧推理不是简单地把模型「丢」到设备上，而是一条完整的链路。从模型优化开始，到编译器转换，再到硬件适配和运行时部署，每一步都可能成为瓶颈。
在后续的课程里，我会带着大家逐一攻克这些环节。咱们会聊量化到底怎么做才不会掉精度，剪枝怎么剪才能保持结构完整，NPU和CPU的调度策略有什么不同……嗯，内容很多，但每一点都是我在项目里踩过坑、填过坑之后总结出来的。
好了，第一章就到这里。记住一句话：端侧推理的本质，是在资源受限的条件下，用工程手段逼近云端推理的效果。接下来的章节，咱们就开始动手了。