4、推理链路全景：从输入预处理、模型加载、算子执行到后处理的完整链路拆解

TinyML 推理并非一个孤立的“模型前向计算”过程，而是一条从物理信号采集到最终决策输出的完整数据流水线。在实际嵌入式项目中，预处理耗时、模型加载的 I/O 开销、算子执行的计算密度以及后处理的逻辑复杂度，共同决定了端到端延迟与峰值功耗。若只盯着算子执行时间，往往会遗漏隐藏在数据搬运和格式转换中的性能陷阱。本章将沿推理链路的四个核心阶段——输入预处理、模型加载与解析、算子执行、后处理——逐一拆解，建立一张可量化的全景视图，并给出各阶段的 Profiling 切入点与优化优先级判断方法。

上图展示了 TinyML 推理链路的四个阶段及其典型耗时占比。需要强调的是，这些比例并非固定值——当模型极小（如仅有 3 个深度可分离卷积层）时，预处理可能占据 40% 以上的时间；而当模型较大（如 300KB 以上的 MobileNetV1）时，算子执行会压倒性地占据主导。因此，Profiling 的首要任务不是“猜”，而是通过插桩和计数器精确测量每个阶段的边界。

4.1 核心原理：为什么必须拆分链路而非只看整体耗时

端到端延迟是一个宏观指标，它掩盖了性能瓶颈的真实位置。例如，一个关键词唤醒（KWS）系统整体推理耗时 45ms，其中预处理占 18ms，算子执行占 20ms，后处理占 7ms。如果只优化算子执行，即使将其压缩 50%，整体延迟也只下降 22%；而如果针对预处理中的冗余数据拷贝进行优化，可能获得更显著的收益。链路拆分的核心原理基于以下三点：

• 资源类型差异：预处理阶段以 CPU 标量运算和内存搬运为主，算子执行阶段以 MAC（乘累加）运算和 DMA 传输为主，后处理阶段以分支判断和系统调用为主。不同资源类型的瓶颈需要不同的优化手段。
• 时间尺度差异：模型加载可能只在首次推理时发生（冷启动），而预处理和算子执行在每次推理时都会发生。Profiling 必须区分冷启动与稳态运行。
• 优化杠杆差异：预处理阶段的优化往往可以复用通用算法（如查表法归一化），算子执行阶段的优化则依赖特定的硬件指令（如 SIMD、硬件加速器），后处理优化则与业务逻辑耦合紧密。

因此，链路拆分的本质是将“黑盒”推理过程转化为“白盒”流水线，使每个阶段的输入、输出、耗时、内存占用和功耗都可被独立观测和度量。

4.2 判断方法与操作流程：如何对四个阶段进行精确 Profiling

对推理链路进行 Profiling 需要结合硬件计时器、软件插桩和内存分析工具。以下是推荐的操作流程，适用于 Cortex-M 系列 MCU 或 RISC-V 嵌入式平台：

1. 阶段边界定义：在代码中明确标记四个阶段的起始与结束位置。建议使用 DWT->CYCCNT（Cortex-M 的周期计数器）或 timer_get_counter() 获取高精度时间戳。
2. 插桩代码示例：

   uint32_t t0, t1, t2, t3, t4;
   t0 = DWT->CYCCNT;
   // 预处理：传感器读取 + 归一化
   preprocess(sensor_buf, input_tensor);
   t1 = DWT->CYCCNT;
   // 模型加载（仅首次或显式调用）
   model_load(&ctx, model_data);
   t2 = DWT->CYCCNT;
   // 算子执行
   model_invoke(&ctx, input_tensor, output_tensor);
   t3 = DWT->CYCCNT;
   // 后处理
   postprocess(output_tensor, &result);
   t4 = DWT->CYCCNT;
   printf("pre:%u load:%u invoke:%u post:%u\n",
          t1-t0, t2-t1, t3-t2, t4-t3);

3. 多次采样与统计：至少运行 100 次推理，记录每次各阶段耗时，计算平均值、P95 和最大值。注意排除首次运行的缓存/Flash 预取影响。
4. 内存与功耗同步采集：使用 ITM 或 ETB 跟踪内存分配峰值，使用外部分析仪（如 J-Link Power Debugger）同步记录各阶段的电流曲线。
5. 数据汇总与瓶颈判定：将各阶段耗时占比排序，优先优化占比最高的阶段。若两个阶段占比接近，优先优化更靠前的阶段（因为前序阶段的延迟会影响后续阶段的启动）。

4.3 案例拆解：智能门锁人脸识别模块的链路 Profiling 实战

某智能门锁产品使用 Cortex-M7 内核（主频 480MHz）运行人脸识别 TinyML 模型，模型大小 180KB，输入为 96×96 灰度图像。产品规格要求端到端识别延迟 <200ms，当前实测为 260ms，超出规格 30%。以下是完整的排障与优化过程：

初始现象与约束：设备使用 OV7670 摄像头（无 FIFO 版本），通过 DCMI 接口直接采集 RGB565 数据。系统内存仅 512KB，其中模型权重占用 180KB，剩余可用内存约 300KB。电池供电，平均电流需控制在 80mA 以内。

Profiling 数据采集：使用 DWT->CYCCNT 插桩，连续运行 200 次推理，得到以下平均数据：

• 预处理：78ms（占 30%）——包括 DCMI 数据接收、RGB565→灰度转换、缩放至 96×96、归一化。
• 模型加载：3ms（占 1.2%）——模型已常驻内存，仅做指针校验。
• 算子执行：152ms（占 58.5%）——包含 8 个深度可分离卷积层和 1 个全连接层。
• 后处理：27ms（占 10.4%）——包括 Softmax 计算、与注册人脸特征比对、LCD 显示驱动。

分析判断过程：预处理耗时异常偏高。进一步分析发现，RGB565→灰度转换使用了浮点运算（每个像素执行 3 次浮点乘加），且 DCMI 数据接收采用轮询方式，CPU 在等待像素数据时被完全占用。算子执行 152ms 中，有约 40ms 消耗在内存搬运（由于张量内存未对齐，导致 DMA 无法使用）。后处理 27ms 中，Softmax 的 exp() 函数调用占 15ms，LCD 显示刷新占 10ms。

实际操作步骤：

1. 预处理优化：将浮点灰度转换改为整数查表法（预计算 256 个灰度映射值），并将 DCMI 接收改为 DMA 双缓冲模式。优化后预处理降至 22ms。
2. 算子执行优化：将输入张量内存对齐到 16 字节边界，使 CMSIS-NN 的 arm_convolve_HWC_q7_fast 函数能够启用 SIMD 加速。同时将深度可分离卷积的 depthwise 层改为使用专用汇编内核。优化后算子执行降至 98ms。
3. 后处理优化：用查表法近似 Softmax（将 exp 计算替换为 256 项预计算表），并将 LCD 刷新改为仅在识别结果变化时触发。优化后后处理降至 9ms。

结果对比与复盘：优化后总延迟为 22+3+98+9=132ms，满足 200ms 规格要求，平均电流从 92mA 降至 71mA。复盘发现，初始 Profiling 数据中预处理占比 30% 是最大意外——团队原本预期算子执行占 80% 以上。这提醒我们：在 TinyML 中，数据搬运和格式转换的开销往往与计算开销相当，甚至更高。此外，DMA 的使用需要内存对齐配合，否则硬件加速器无法生效。

4.4 常见误区与总结复盘

在推理链路 Profiling 中，工程师常犯以下错误，导致优化方向偏离：

总结复盘时，建议建立一张“链路耗时-功耗-内存”三维表格，记录每次优化前后的变化。以下是一个推荐模板：

最终，链路拆分的价值不仅在于找到瓶颈，更在于建立一种可重复的性能工程方法论。当产品迭代（如更换传感器、增大模型）时，这套 Profiling 框架能够快速定位新引入的延迟热点，避免“头痛医头”式的随机优化。