1. 端侧推理引擎概述

各位同学，咱们这门课叫《端侧推理引擎在相机中的适配实战》。第一节课，得先把地基打牢。什么是端侧推理引擎？为什么非要在相机上跑它？市面上那么多引擎，到底选哪个？

这些问题，我在做第一个手机AI项目时全踩过坑。今天咱们一次性说清楚。

1.1 什么是端侧推理引擎

说白了，端侧推理引擎就是一套在手机、相机、IoT设备上运行AI模型的软件库。它把训练好的模型（比如PyTorch、TensorFlow训练出来的）转换成能在ARM CPU、GPU、NPU上高效执行的格式。

你想想看，云端的AI推理是把数据传到服务器，算完再传回来。端侧推理呢？直接在设备本地算。没有网络延迟，没有隐私泄露，功耗还低。

我习惯把推理引擎比作一个「翻译官」。它把深度学习框架的「高级语言」（计算图）翻译成硬件能听懂的「机器指令」。翻译得好不好，直接决定你的App卡不卡、烫不烫、耗不耗电。

1.2 为什么需要端侧推理

这个问题，我在2018年给某厂商做相机AI美颜时体会特别深。当时方案是上传到服务器处理，结果用户一拍完要等3秒才能看到效果。产品经理差点没把我吃了。

端侧推理的核心价值，其实就三点：

• 实时性：相机预览流每秒30帧，每帧只有33ms处理时间。云端来回至少200ms，根本没法用。
• 隐私性：照片不上传，人脸数据不出设备。GDPR合规？不存在的。
• 离线可用：飞机上、地库里、山区中，没网照样能拍能算。

还有一个容易被忽略的点——成本。云端推理按调用量收费，日活千万的App，一年下来服务器费用够买几套房了。端侧推理是一次性硬件投入，边际成本趋近于零。

1.3 主流端侧推理引擎对比

市面上引擎不少，但真正在相机场景里经得起折腾的，也就那么几个。我按自己的使用体验排个序：

引擎	开发者	核心优势	相机场景适配度	我的评价
ONNX Runtime	微软	跨平台、生态好、支持ONNX标准	⭐⭐⭐	通用性强，但移动端优化不够极致
TensorFlow Lite	Google	与TF生态无缝衔接、硬件加速器支持好	⭐⭐⭐⭐	适合Android原生开发，但模型转换坑多
NCNN	腾讯	极致轻量、ARM汇编级优化、无依赖	⭐⭐⭐⭐⭐	相机场景首选，我用了三年没换过
MNN	阿里巴巴	推理速度快、内存占用低、支持多后端	⭐⭐⭐⭐⭐	淘宝系App验证过，稳定性一流
TNN	腾讯	算子丰富、量化工具完善、跨平台	⭐⭐⭐⭐	后起之秀，文档比NCNN友好

嗯，这里要注意。表格里的星星只是参考。实际选型要看你的具体场景。比如你只做iOS端，那Core ML可能比这些都香。但咱们课程聚焦的是Android相机，所以NCNN和MNN会是重点。

1.4 端侧推理的挑战与机遇

做了这么多年端侧推理，我最大的感受是：理想很丰满，现实很骨感。咱们来细数一下那些坑。

挑战一：硬件碎片化

Android设备有上千种。骁龙、天玑、麒麟、Exynos……每个平台的GPU、NPU、DSP都不一样。你在一台手机上优化好的模型，换台设备可能直接崩掉。

我曾经遇到过一个问题：某款手机用高通GPU跑模型没问题，换成联发科就黑屏。查了两天才发现是OpenCL驱动版本不一致。

挑战二：内存与功耗

相机本身就要占大量内存。再加上AI推理，内存很容易爆。而且推理时GPU全速运行，手机秒变暖手宝。

我做过一个测试：某美颜模型在GPU上跑，连续推理10分钟，手机温度从28°C升到46°C。用户能明显感觉到烫手。

挑战三：模型精度与速度的平衡

量化、剪枝、蒸馏……这些技术能提速，但会掉精度。相机场景对画质要求极高，掉一个点的PSNR，用户都能看出来。

机遇在哪里？

虽然挑战多，但机遇更大。我列几个方向：

• NPU普及：现在中端手机都带NPU了，推理速度比CPU快10倍以上。
• 异构计算：CPU+GPU+NPU协同工作，各取所长。
• 模型轻量化：Transformer轻量化技术（如MobileNet、EfficientNet）让复杂模型也能上端侧。
• 工具链成熟：各家引擎的调试、 profiling工具越来越完善。

说白了，端侧推理已经从「能不能做」进入了「怎么做更好」的阶段。这正是咱们这门课的价值所在。

1.5 端侧推理引擎知识体系

下面这张图，是我自己梳理的端侧推理引擎知识体系。咱们这门课就是按照这个结构展开的。

这张图把咱们课程的核心脉络串起来了。从应用场景出发，到推理引擎核心，再到三大支柱技术，最后落地到相机实战。每一章都会围绕这个体系展开。