课程导入：Edge AI与模型架构搜索的背景、课程目标、学习路径与整体框架

边缘人工智能（Edge AI）正在经历从“能用”到“好用”的关键转折。过去十年，深度学习模型的精度提升主要依赖更深的网络、更大的参数量和更密集的计算资源，但这些成果大多建立在云端数据中心强大的GPU集群之上。当我们将模型部署到手机、摄像头、可穿戴设备、工业控制器、车载单元等资源受限的边缘设备时，一个根本性的矛盾浮出水面：高性能模型需要大量计算资源，而边缘设备只有有限的算力、内存、带宽和电池容量。这一矛盾催生了模型架构搜索（Neural Architecture Search, NAS）在边缘场景下的特殊分支——TinyNAS与硬件感知搜索（Hardware-Aware NAS）。本章作为整个课程的开篇，将系统梳理Edge AI与模型架构搜索的背景脉络，明确课程目标，并给出完整的学习路径与知识框架。

1.1 Edge AI的发展现状与模型部署困境

核心原理：边缘智能的算力鸿沟

Edge AI是指在靠近数据源头的设备端（而非云端数据中心）执行机器学习推理的技术范式。根据ABI Research的预测，到2025年全球边缘AI芯片市场规模将突破120亿美元，设备端推理将占全部AI推理负载的60%以上。然而，边缘设备的硬件资源与云端相比存在数量级的差距：一颗旗舰级手机SoC的AI算力约为15-30 TOPS（如高通骁龙8 Gen 3），中端嵌入式平台（如瑞萨RZ/V2L）仅为1-4 TOPS，而超低功耗MCU（如STM32N6）的算力甚至不足1 TOPS。与此同时，边缘设备的功耗预算通常被限制在0.5W到5W之间，内存带宽仅为云端GPU的1/50到1/100。

这种算力鸿沟直接导致了一个尴尬的现状：在ImageNet上达到80%以上Top-1精度的主流模型（如ResNet-50、EfficientNet-B4），直接部署到边缘设备时，推理延迟可能达到数百毫秒甚至数秒，功耗远超设备热设计功耗（TDP）限制。例如，将MobileNetV3-Large部署到树莓派4B上，单帧推理约需80ms，功耗约2.3W；而部署到更小型的ESP32-S3上，推理时间会飙升到3秒以上，完全无法满足实时视频处理需求。

判断方法：识别边缘部署的“不可行信号”

在实际项目中，工程师可以通过以下信号判断现有模型是否需要进行架构搜索或重构：

• 延迟超标：在目标设备上实测推理延迟超过实时性要求（如视频流要求≤33ms/帧）的2倍以上。
• 内存溢出：模型权重+中间特征图的内存占用超过设备可用RAM的80%，导致频繁换页或直接OOM。
• 功耗失控：连续推理时设备表面温度超过安全阈值（如45°C），或电池续航时间不满足产品规格。
• 算子不支持：模型包含目标推理引擎（如TensorRT、TFLite Micro、RKNN）不支持的算子，导致部分层回退到CPU低效执行。
• 多目标冲突：精度提升1%需要延迟增加30%，而产品规格要求延迟和精度同时达标。

当上述信号出现时，手工调整模型结构（如替换激活函数、减少通道数）往往只能获得有限收益，系统性地进行硬件感知架构搜索才是根本解法。

案例拆解：智能摄像头场景的模型选型困境

以一款家用智能摄像头产品为例，其硬件平台为瑞芯微RV1126（2 TOPS NPU，1.5GB RAM），需要同时运行人形检测（输入分辨率640×360）和面部识别（输入分辨率112×112）两个模型。初始方案直接采用YOLOv5s（检测）和MobileFaceNet（识别），实测结果如下：

分析发现，YOLOv5s的CSPDarknet骨干网络在RV1126 NPU上存在大量低效的5×5卷积和残差连接，NPU利用率仅31%。工程师尝试了手工裁剪通道（减少30%通道）后，延迟降至52ms，但mAP下降至0.82，仍不满足要求。最终，团队采用硬件感知搜索方法，在搜索空间中约束算子类型（仅允许3×3/1×1卷积、深度可分离卷积、无SE模块），以NPU延迟和mAP为联合优化目标，搜索出一个参数量仅4.8M的模型，延迟降至41ms，mAP达到0.85，成功满足产品规格。

这个案例揭示了关键经验：手工调参的收益存在天花板，而硬件感知搜索能够在“精度-延迟-内存”的联合空间中系统性地找到更优解。搜索出的模型虽然参数量更小，但由于算子与硬件高度匹配，实际效率反而更高。

常见误区与总结复盘

总结而言，Edge AI模型部署的核心矛盾是“模型精度”与“硬件效率”之间的张力。解决这一矛盾需要从模型架构层面入手，这正是TinyNAS和硬件感知搜索的核心价值所在。

1.2 模型架构搜索（NAS）的演进与TinyNAS的定位

核心原理：从手工设计到自动化搜索

模型架构搜索（NAS）旨在自动化地发现高性能的神经网络结构，替代人工设计。NAS的发展经历了三个阶段：

1. 早期NAS（2017-2018）：使用强化学习（RL）或进化算法在完整数据集上训练每个候选模型，计算成本极高（需要数千GPU天）。代表作包括NASNet、AmoebaNet。
2. 高效NAS（2019-2020）：引入权重共享（Weight Sharing）和代理指标，如DARTS（可微搜索）、ENAS（参数共享）、ProxylessNAS，将搜索成本降低到几个GPU天。
3. 硬件感知NAS（2020至今）：在搜索过程中显式建模硬件延迟、能耗、内存占用等指标，代表方法包括MnasNet、FBNet、Once-for-All（OFA）和TinyNAS。

TinyNAS是硬件感知NAS在极端资源约束下的专门化分支，其核心特征包括：面向1 TOPS以下的MCU/轻量级NPU、搜索空间严格限制为硬件友好算子、采用查找表（Lookup Table）方式快速预估硬件性能、支持一次搜索多平台复用。TinyNAS的定位不是追求“最大精度”，而是在满足硬件约束的前提下最大化精度，或者在给定精度目标下最小化硬件资源消耗。

判断方法：何时应该使用TinyNAS而非通用NAS

当目标设备的算力低于5 TOPS、内存低于512MB、且推理引擎对算子支持有限时，应优先考虑TinyNAS方案。例如，在STM32F4系列MCU（Cortex-M4，无硬件加速器）上部署关键词唤醒模型，搜索空间必须限制为深度可分离卷积和1×1卷积，且量化位宽固定为8-bit，此时TinyNAS是唯一可行的自动化方案。

案例拆解：TinyNAS在智能音箱唤醒词模型中的应用

某智能音箱厂商需要在Cortex-M7内核（主频400MHz，512KB SRAM）上部署唤醒词模型（识别“小度小度”），要求：模型参数量≤300KB（8-bit量化后）、单次推理延迟≤50ms、功耗≤30mW。初始手工设计的CNN模型（3层卷积+2层全连接）参数量为420KB，延迟78ms，不满足要求。

工程师采用TinyNAS方法，具体流程如下：

• 步骤1：构建搜索空间。仅允许3×3深度可分离卷积、1×1标准卷积、全局平均池化，禁止使用BatchNorm（推理时合并到卷积权重中），激活函数固定为ReLU6。
• 步骤2：建立硬件查找表。在目标MCU上逐一测量每种算子的延迟和内存占用，形成精确的查找表（误差<5%）。
• 步骤3：使用进化算法搜索。种群规模64，迭代50轮，每轮评估候选模型的延迟（通过查找表累加）和参数量，精度通过代理数据集（500条唤醒词语音）快速验证。
• 步骤4：搜索结果。最终模型为5层深度可分离卷积（通道数[16, 24, 32, 48, 64]）+全局平均池化+全连接，参数量286KB，实测延迟43ms，唤醒率95.2%（误唤醒率0.8次/小时），满足所有约束。

该案例表明，TinyNAS通过硬件查找表+代理精度评估的组合，将搜索成本控制在4个GPU小时内，同时产出的模型在目标硬件上表现出色。相比手工设计，搜索出的模型在相同精度下延迟降低了31%。

常见误区与总结复盘

另一个常见误区是忽略量化感知。边缘设备通常使用INT8或INT4量化，不同架构在量化后的精度损失差异显著。TinyNAS应在搜索过程中引入量化感知训练（QAT）或至少使用量化模拟代理指标，否则搜索出的模型在量化后可能精度骤降。

1.3 课程目标、学习路径与整体框架

核心原理：本课程的三大能力培养目标

本课程围绕“硬件感知的模型架构搜索”这一核心主题，设计了系统化的学习路径，旨在培养学员以下三大能力：

• 理论理解能力：深入理解NAS的基本原理、搜索空间设计方法、硬件性能建模技术，以及多目标优化算法（包括进化算法、强化学习、可微搜索）在边缘场景下的适用性。
• 工程实践能力：掌握TinyNAS的完整实现流程，包括硬件查找表构建、搜索空间定义、搜索策略实现、候选模型评估、结果部署验证等环节。能够使用主流工具（如Microsoft的NNI、华为的MindSpore、Google的Model Card）进行实际操作。
• 系统设计能力：能够针对具体的边缘设备（MCU、轻量级NPU、FPGA）和业务场景（视觉、语音、传感器融合），设计合理的硬件感知搜索方案，平衡精度、延迟、能耗、内存等多维指标，并完成从搜索到部署的全链路工程化。

学习路径：30章内容的逻辑递进

课程分为四个递进阶段，每个阶段解决一类核心问题：

每一章都遵循“核心原理→判断方法→案例拆解→常见误区”的四段式结构，确保学员既能理解“为什么”，也能掌握“怎么做”，还能从真实案例中汲取经验教训。

案例拆解：一个完整的TinyNAS项目生命周期

为了帮助学员建立整体认知，这里以一个工业缺陷检测项目为例，展示TinyNAS在真实项目中的完整生命周期：

1. 需求分析（第2-3章内容）：目标设备为瑞萨RZ/V2L（AI加速器1 TOPS），检测PCB板上的焊点缺陷，输入图像224×224，要求单帧推理≤80ms，精度（F1-score）≥0.95。
2. 硬件建模（第4-5章内容）：在RZ/V2L上测量DDR带宽、NPU算子延迟、内存分配策略，构建查找表。
3. 搜索空间设计（第6-7章内容）：限定算子集合（3×3/5×5深度可分离卷积、1×1卷积、全局平均池化），通道数范围[16, 128]，层数范围[4, 12]，步长模式固定。
4. 搜索执行（第9-15章内容）：使用进化算法+延迟查找表，在500个GPU小时内完成搜索，得到Pareto前沿上的多个候选模型。
5. 量化与部署（第19-22章内容）：对选中的模型进行INT8量化（QAT），部署到RZ/V2L的NPU上，实测延迟72ms，F1-score 0.96。
6. 持续优化（第26-30章内容）：收集现场数据，进行增量学习，模型精度进一步提升至0.97。

这个案例贯穿了课程的主要知识点，学员在完成全部30章学习后，将具备独立执行此类项目的能力。

常见误区与学习建议