1. 课程导入
端侧AI（On-Device AI / Edge AI）是指将人工智能模型的推理、训练（或增量学习）过程部署在用户终端设备上，而非依赖云端服务器完成计算的技术范式。这里的“端侧”涵盖智能手机、智能摄像头、车载计算平台、可穿戴设备、工业PLC、机器人控制器等各类边缘硬件。与云端AI相比，端侧AI强调数据不出设备、推理低延迟、功耗可控和离线可用性。理解端侧AI的本质，需要从“为什么必须下沉到端侧”这一根本问题出发，并系统梳理算力、内存、功耗、延迟四大核心约束如何重塑模型设计与工程实践。
1.1 端侧AI的定义与范畴
端侧AI并非简单的“在手机上跑一个模型”，而是一个涉及芯片架构、运行时环境、模型压缩、系统调度和产品体验的交叉领域。从部署形态看，端侧AI包含三种典型模式：完全离线推理（如智能相册的人脸聚类）、端云协同推理（如语音助手的唤醒词本地检测+云端大模型理解）、端侧增量学习（如输入法根据用户打字习惯进行个性化预测）。课程中我们主要聚焦前两种模式，因为增量学习在工程落地中仍面临标签噪声和灾难性遗忘等挑战。
从技术栈视角看，端侧AI横跨四个层次：芯片层（NPU、DSP、GPU、CPU的异构计算单元）、运行时层（推理引擎如MNN、TFLite、TensorRT、CoreML）、模型层（轻量化网络结构、量化感知训练）、应用层（业务逻辑、缓存策略、功耗管理）。任何一个层次的短板都会成为系统瓶颈。例如，即使模型压缩得再小，如果推理引擎没有针对特定NPU做算子优化，实际延迟依然可能无法满足实时性要求。
1.2 发展背景：为什么AI必须走向端侧
端侧AI的兴起由三重驱动力共同推动。第一是隐私法规与数据主权：GDPR、个人信息保护法等法规对数据出境和云端存储提出严格限制，医疗影像、金融风控、智能家居等场景要求原始数据不出设备。第二是网络与成本约束：5G虽然提升了带宽，但海量IoT设备的持续连接会产生高昂的流量费用和云端计算成本，端侧处理可以过滤掉90%以上的无效数据，只上传关键信息。第三是交互体验需求：AR/VR、自动驾驶、工业质检等场景对延迟的容忍度极低——以自动驾驶为例，从摄像头采集到刹车执行的总时延必须控制在100ms以内，任何一次云端往返都可能造成事故。
从产业进程看，端侧AI经历了三个发展阶段：2017-2019年的探索期，主要解决“能不能跑”的问题，MobileNet、ShuffleNet等轻量网络相继出现；2020-2022年的工程化期，重点转向“跑得好不好”，量化工具链、NPU编译器逐渐成熟；2023年至今的智能化期，大模型开始向端侧下沉，如Stable Diffusion在手机上的运行、7B参数LLM在PC端的部署，这要求我们重新审视内存墙和功耗墙的极限。
1.3 核心挑战深度解析
端侧AI的四大核心挑战并非孤立存在，它们之间存在强烈的耦合关系。下表从工程视角对比了云端AI与端侧AI的典型差异：
| 维度 | 云端AI | 端侧AI | 工程影响 |
|---|---|---|---|
| 算力 | GPU集群，数百TFLOPS | NPU+CPU，1-50 TOPS | 需算子融合、通道剪枝 |
| 内存 | 数百GB，带宽>2TB/s | 4-16GB，带宽25-100GB/s | 量化至INT8/INT4，权重共享 |
| 功耗 | 数千瓦，可散热 | 3-10W（手机），<1W（IoT） | 动态电压频率调节，异步调度 |
| 延迟 | 网络RTT 50-200ms | 端到端<30ms（实时） | 流水线并行，提前量计算 |
算力挑战的本质是“有效算力”而非“峰值算力”。以某款手机NPU为例，其标称算力为15 TOPS，但在实际运行YOLOv5s时，由于激活函数（SiLU）不支持硬件加速、张量内存布局不连续等原因，实测利用率仅为38%。这意味着我们需要通过算子替换（如将SiLU改为ReLU6）、内存重排（NHWC转NCHW）等手段，将理论算力转化为实际吞吐。
内存挑战是当前端侧AI最隐蔽的瓶颈。现代NPU通常采用“片上SRAM+片外DRAM”的两级存储架构，SRAM容量仅1-8MB。当模型中间特征图超过SRAM容量时，就必须频繁进行DRAM读写，而DRAM带宽往往只有算力需求的1/5到1/10。这就是著名的“内存墙”问题。解决思路包括：算子融合（将Conv+BN+ReLU合并为单次遍历）、特征图压缩（使用稀疏存储）、以及推理引擎的显存池化策略。
功耗挑战需要从系统级视角审视。AI推理功耗并非只包含计算单元功耗，还包括内存访问功耗（可占总功耗的40%-60%）、外设功耗（摄像头、屏幕）和待机功耗。一个典型的失败案例是：某智能门锁厂商在本地部署人脸识别模型后，待机功耗从0.1mW飙升至15mW，导致电池续航从12个月骤降至3周。解决方案是引入“两级唤醒”机制——先由低功耗PIR传感器检测人体接近，再启动NPU进行人脸识别。
延迟挑战不仅是计算时间问题，更是系统工程问题。端到端延迟包含：传感器采集时间、数据预处理时间、模型推理时间、后处理时间、执行器响应时间。以工业质检为例，相机曝光2ms、图像传输5ms、预处理3ms、推理12ms、结果输出1ms，总延迟23ms看似达标，但若传送带速度是1m/s，则产品已移动23mm，可能导致检测区域偏移。因此，延迟优化必须结合物理运动模型进行“提前量补偿”。
1.4 课程学习路径与能力模型
本课程共30章，按照“基础认知→模型压缩→工具链→性能剖析→场景实战→前沿扩展”六个阶段递进。前5章聚焦端侧AI的基础设施与核心挑战，帮助学员建立系统观；第6-12章深入模型压缩技术（量化、剪枝、蒸馏、NAS），每章均包含完整的实验对比数据；第13-18章讲解推理引擎与编译优化，覆盖TVM、MLIR、XNNPACK等主流工具；第19-24章是性能剖析方法论，包括硬件计数器、Trace分析、火焰图等实战技巧；第25-28章针对视觉、语音、NLP、多模态四大场景进行案例拆解；最后两章探讨大模型端侧部署与持续学习。
学员完成本课程后，应具备以下核心能力：第一，能够独立完成模型从PyTorch/TensorFlow到端侧推理引擎的完整转换，并处理算子兼容性问题；第二，熟练使用perf、simpleperf、Tracy等工具定位CPU/GPU/NPU瓶颈，并能区分“计算密集”与“访存密集”问题；第三，掌握量化感知训练与后训练量化的工程细节，能将模型体积压缩4-8倍而精度损失控制在2%以内；第四，具备系统级功耗优化意识，能够设计“感知-计算-执行”的低功耗流水线。
1.5 端侧AI的典型应用场景与工程约束
为了帮助学员建立具象认知，我们选取三个典型场景进行对比分析。第一个是智能安防摄像头，其核心约束是7×24小时连续运行，整机功耗预算5W以内，且不能使用主动散热。这意味着NPU的持续推理功耗必须控制在2W以下，同时需要支持动态帧率调节——夜间人少时降至5fps，白天繁忙时提升至25fps。工程上采用“事件驱动”架构：由运动检测模块（运行在MCU上）触发NPU唤醒，空闲时NPU完全断电。
第二个场景是车载疲劳检测，其核心约束是功能安全等级ASIL-B，要求算法在极端光照（逆光、夜间红外）下依然稳定。该场景的难点不在算力，而在鲁棒性——需要同时处理可见光与红外图像，且模型需通过ISO 26262认证。工程上采用“双模型冗余”策略：一个轻量模型（MobileNetV3-Small）负责快速筛查，一个高精度模型（ResNet18量化版）在低置信度时触发复核，既保证实时性又提升准确率。
第三个场景是工业声学质检，其核心约束是强噪声环境下的低信噪比信号处理。该场景的独特之处在于：音频信号采样率96kHz，每帧数据量远大于图像，且需要同时处理时域和频域特征。工程上采用“分频段处理”方案：将音频信号通过滤波器组分解为4个子带，每个子带由独立的轻量CNN处理，最后融合判决。这种设计将单次推理的访存量降低了60%，使得在低成本MCU上也能实现实时检测。
从上述案例可以看出，端侧AI的工程实践没有“银弹”，每个场景都需要在算法精度、硬件资源、功耗预算和实时性之间寻找平衡点。这正是本课程的核心价值——不是教条式地传授某个工具或算法，而是培养学员在真实约束下进行系统级权衡的工程能力。