3. Micro算子调度核心概念：调度原语在Micro场景下的适用性与限制
TVM的调度原语（Schedule Primitives）是连接算子逻辑描述与硬件实际执行的桥梁。在Micro（微控制器、嵌入式AI加速器、RISC-V核等）场景下，内存以KB计、缓存可能不存在、核数有限甚至为单核，调度原语的行为与云端GPU场景截然不同。本章聚焦split、fuse、vectorize、parallel、unroll这五个最常用原语，剖析其在Micro环境下的真实语义、适用边界与性能陷阱。
3.1 调度原语在Micro场景下的核心原理
调度原语本质是对计算循环结构的重写。在GPU场景中，调度主要为了暴露并行度和合并内存访问；而在Micro场景中，调度目标变为：最小化SRAM占用、最大化数据局部性、减少指令发射开销。Micro处理器通常没有复杂的分支预测和乱序执行，循环开销占比显著，因此每个原语的行为都需要重新审视。
| 原语 | GPU/云端语义 | Micro场景语义 | 关键差异 |
|---|---|---|---|
split |
拆分循环维度以映射到block/thread | 拆分循环以适配SRAM分块（tiling） | 拆分后内层循环必须能放入寄存器或紧邻SRAM |
fuse |
合并循环减少kernel启动开销 | 合并循环减少循环控制指令和中间结果写回 | 融合后需检查中间结果是否能在寄存器中传递 |
vectorize |
生成SIMD指令提升吞吐 | 生成SIMD指令但需注意数据对齐和bank冲突 | Micro的SIMD宽度窄（如RV32IMC的4x32bit），且无自动对齐硬件 |
parallel |
多线程并行执行 | 多核（通常2~4核）或DMA并行 | 核间通信开销可能超过并行收益；需显式管理同步 |
unroll |
展开循环减少分支开销 | 展开循环减少循环计数和分支指令 | 展开因子受限于指令缓存（I-Cache）大小和代码体积 |
3.2 判断方法：如何为Micro算子选择合适的调度策略
选择调度原语不能孤立进行，必须遵循“内存优先，计算其次”的决策路径。以下是针对Micro场景的六步判断流程：
- 分析数据复用距离：计算每个数据元素在循环中被重用的间隔。若间隔小于SRAM容量，则可通过split/fuse实现数据驻留；否则必须考虑流式处理。
- 确定循环嵌套结构：识别最内层循环的连续内存访问模式。若访问连续地址，优先考虑vectorize；若存在跨步访问，先通过split调整循环顺序。
- 评估并行硬件资源：确认目标芯片的核数、SIMD宽度、DMA通道数。若只有单核且无SIMD，则parallel和vectorize直接跳过。
- 计算展开收益与代价：用公式
收益 = 减少的循环开销 / 增加的代码体积估算。当I-Cache小于8KB时，unroll因子不宜超过4。 - 模拟SRAM分配：在TVM的Schedule阶段，使用
s.cache_read/write配合split，模拟数据在SRAM中的生命周期，确保无溢出。 - 编译后检查汇编：通过
tvm.build生成目标汇编，检查是否存在多余的加载/存储指令或栈溢出。
- SRAM ≤ 64KB：优先使用fuse + split，避免vectorize（对齐开销大）。
- SRAM 64KB~256KB：split + vectorize 组合，分块大小取 4~16 的倍数。
- 多核（≥2核）：parallel仅用于外层独立循环，且数据分块需按核数对齐。
- 无I-Cache或I-Cache < 4KB：unroll因子固定为2或4，禁止全展开。
3.3 案例拆解：8位卷积算子在Cortex-M7上的调度优化
以一个典型的3x3卷积（输入特征图 32x32x8，输出 32x32x16，8位整型）为例，目标平台为STM32H743（Cortex-M7，单核，I-Cache 16KB，D-Cache 16KB，SRAM 512KB，支持SIMD指令）。
初始现象与目标：直接使用TVM默认调度，生成代码体积约 48KB，运行时间 12.8ms。目标是将运行时间压缩至 5ms 以内，同时代码体积不超过 32KB（I-Cache限制）。
关键输入参数：
- 输入张量：32×32×8 = 8192 字节（8bit）
- 输出张量：32×32×16 = 16384 字节
- 权重：3×3×8×16 = 1152 字节
- SRAM可用：256KB（其余用于系统）
分析判断过程：
首先，数据复用距离分析显示：每个输入像素在3x3卷积窗口中被复用9次，但输出通道方向复用距离为 3×3×16 = 144 字节，远小于SRAM。因此，split输出通道维度是首要选择。其次，Cortex-M7支持SIMD，但要求16字节对齐，而输入宽度32字节满足条件，可尝试vectorize。
实际操作步骤：
# 伪代码展示调度策略
# 1. 将输出通道split为 [4, 4] 两个维度
sch = te.create_schedule(conv.output.op)
out_ch = conv.output.op.axis[0] # 16通道
ch_outer, ch_inner = sch[conv].split(out_ch, factor=4)
# 2. 融合空间维度，形成单循环
h_axis, w_axis = sch[conv].op.axis[2], sch[conv].op.axis[3]
hw_fused = sch[conv].fuse(h_axis, w_axis)
# 3. 对最内层宽度维度向量化（4x8bit = 32bit SIMD）
w_vec, w_rem = sch[conv].split(w_axis, factor=4)
sch[conv].vectorize(w_vec)
# 4. 对通道内层循环unroll（因子4）
sch[conv].unroll(ch_inner)
# 5. 使用cache_read将输入块缓存到SRAM
input_lcl = sch.cache_read(conv.input, "SRAM", [conv])
sch[input_lcl].compute_at(sch[conv], ch_outer)结果对比：
| 指标 | 默认调度 | 优化后 | 变化 |
|---|---|---|---|
| 运行时间 | 12.8ms | 4.2ms | ↓ 67% |
| 代码体积 | 48KB | 29KB | ↓ 40% |
| SRAM占用 | 32KB | 18KB | ↓ 44% |
| 指令周期 | 约 1.2M | 约 0.4M | ↓ 67% |
风险与代价：vectorize要求数据对齐，若输入地址非16字节对齐，会导致硬件异常。解决方案是在分配输入缓冲区时使用ALIGN_UP宏。此外，unroll因子4使代码体积增加约3KB，但仍在I-Cache容量内。
复盘经验：Micro场景下，split的通道分块是收益最大的原语，因为它直接决定了数据在SRAM中的驻留时间。vectorize的收益次之，但必须验证对齐。unroll的收益最小，且容易引发代码膨胀，应最后考虑。
3.4 常见误区与总结复盘
在Micro调度实践中，以下误区会导致性能不升反降：
在双核Cortex-A53上，若并行任务的数据分块小于4KB，核间同步开销（通常约 2μs）会超过并行计算收益。正确做法是：仅当单核计算时间 > 10μs 时才考虑parallel。
当展开后的循环体超过I-Cache容量的50%时，缓存命中率急剧下降。例如，将3x3卷积全展开（9次乘加）在I-Cache 4KB的MCU上会导致性能下降30%。建议使用
pragma("unroll_explicit", 2)限制展开因子。
RISC-V的向量扩展（V扩展）要求数据按向量长度对齐。若输入为8bit数据，使用128bit向量时需16字节对齐。未对齐时，编译器会生成额外的对齐处理代码，反而增加开销。
总结复盘：Micro场景的调度原语选择应遵循以下优先级：
- split：用于分块，适配SRAM容量，是数据复用的基础。
- fuse：用于减少循环控制开销，但需确认中间结果不溢出到内存。
- vectorize：在数据对齐且SIMD宽度匹配时使用，收益显著。
- unroll：仅在I-Cache充裕且循环体简单时使用，因子不超过4。
- parallel：多核场景的最后选择，需精确计算同步开销。
最后，务必使用TVM的tvm.build生成汇编后，人工检查是否存在多余的栈操作或内存拷贝。Micro场景下，一条多余的加载指令可能消耗 2~3 个时钟周期，在 400MHz 主频下意味着 5~7.5ns 的延迟，累积起来就是毫秒级的性能差距。调度优化的本质，是在有限的存储和指令带宽内，找到计算与数据移动的最优平衡点。