4、手工调优入门：手工编写调度（schedule）的基本语法、常用原语（split、fuse、vectorize、parallel等）

在TVM Micro的调优实践中，自动调度（AutoTVM / Ansor）虽然能大幅降低调优门槛，但其搜索过程往往需要数小时甚至数天，且生成的代码在特定硬件上未必最优。手工编写调度（Schedule）是TVM提供的另一条核心路径——它允许开发者直接控制计算图中的循环结构、内存布局和指令选择，从而在微控制器（MCU）这类资源受限、缓存极小、流水线简单的目标上，获得比自动调度更精准、更可预测的性能表现。本章将聚焦手工调度的基本语法与四个最常用的原语：split、fuse、vectorize、parallel，并结合一个矩阵乘法的微型案例，帮助你建立从“计算描述”到“硬件映射”的思维桥梁。

上图展示了手工调度的核心逻辑：计算描述（如矩阵乘法）通过调度原语（split、fuse、vectorize、parallel）进行循环变换，最终映射到具体的硬件资源（寄存器、SIMD单元、多核、缓存层次）。在TVM Micro场景下，由于MCU通常只有单核或双核、极小的SRAM（几十KB）、无分支预测或乱序执行，因此调度的目标非常明确：减少循环开销、提高数据复用率、充分利用SIMD指令（如ARM Cortex-M4/M33的SIMD）、避免不必要的内存拷贝。

4.1 核心原理：调度是“循环结构”的重新编排

TVM的调度（Schedule）本质上是对计算图中每个“计算节点”（ComputeOp）的循环结构进行变换。一个典型的计算节点包含多个迭代轴（IterVar），例如矩阵乘法C[i,j] = sum(A[i,k] * B[k,j])，其迭代轴为i、j、k。默认情况下，TVM会生成一个三重嵌套循环，且循环顺序为i->j->k。手工调优的目标就是通过原语改变这些循环的拆分、合并、顺序、向量化或并行化方式，从而适应目标硬件的执行模型。

在TVM Micro中，调度原语的操作对象是Schedule对象中的Stage。每个Stage对应一个计算节点。常用的调度原语包括：

• split：将一个循环轴拆分为两个或多个子轴，用于分块（tiling）或映射到不同硬件层次。
• fuse：将两个相邻的循环轴合并为一个轴，减少循环嵌套深度，降低循环开销。
• vectorize：将循环标记为向量化，编译器会尝试生成SIMD指令。
• parallel：将循环标记为并行执行，在MCU上通常映射到多核或硬件线程。
• reorder：调整循环轴的执行顺序，改善数据局部性。
• compute_at / compute_inline：控制计算的位置，影响中间结果的存储方式。

这些原语并非孤立使用，而是需要根据硬件特征组合。例如，在Cortex-M4上，vectorize通常与split配合：先将循环拆分为“向量化部分”和“标量尾部”，再对向量化部分应用vectorize。

4.2 判断方法与操作流程：如何选择原语组合

手工调优没有万能公式，但可以遵循一套系统化的判断流程。以下是针对TVM Micro的推荐操作步骤：

1. 分析计算特征：确定计算是内存密集型（如逐元素操作）还是计算密集型（如矩阵乘）。内存密集型优先考虑vectorize和reorder；计算密集型优先考虑split和parallel。
2. 评估硬件资源：查阅目标MCU的指令集（是否支持SIMD）、寄存器数量、缓存/SRAM大小、核数。例如，Cortex-M7支持双发射和SIMD，而Cortex-M0+不支持SIMD。
3. 设计循环结构：先使用split将大循环拆分为适合硬件层次的小块（如寄存器块、缓存块），再用reorder调整顺序，最后对最内层循环应用vectorize或parallel。
4. 迭代验证：每次修改调度后，使用TVM的build和benchmark工具测量性能，对比不同调度策略的耗时。

下表总结了不同场景下的原语选择建议：

场景	推荐原语	原因
逐元素运算（如add、relu）	vectorize + split	数据无依赖，SIMD可大幅提升吞吐
矩阵乘法（小规模）	split + reorder + vectorize	分块提高数据复用，向量化利用SIMD
多核MCU（如双核）	parallel + split	将外层循环拆分到不同核，减少竞争
内存受限（SRAM极小）	fuse + compute_at	减少中间结果存储，融合计算

4.3 案例拆解：矩阵乘法的调度优化实战

我们以一个8x8的整数矩阵乘法为例，目标硬件为ARM Cortex-M4（支持SIMD，单核，16KB SRAM）。初始计算描述如下：

import tvm
from tvm import te

n = 8
A = te.placeholder((n, n), name='A', dtype='int8')
B = te.placeholder((n, n), name='B', dtype='int8')
k = te.reduce_axis((0, n), name='k')
C = te.compute((n, n), lambda i, j: te.sum(A[i, k] * B[k, j], axis=k), name='C')
s = te.create_schedule(C.op)

初始现象：默认调度生成三重循环（i, j, k），循环开销大，且每次内层k循环都从内存加载A和B，数据复用率低。在Cortex-M4上实测耗时约1200周期。

分析判断：8x8矩阵较小，适合全部放入寄存器或SRAM。主要瓶颈是循环分支开销和内存访问。Cortex-M4支持SIMD，一次可处理4个int8数据，因此可以考虑向量化。

操作步骤：

1. split：将i和j轴拆分为4x2的块，便于向量化。
2. reorder：将k轴移到最内层，并确保i和j的块顺序合理。
3. vectorize：对最内层的j轴应用向量化，使编译器生成SIMD指令。

# 拆分i轴：i_outer, i_inner = split(i, 4)
i_outer, i_inner = s[C].split(C.op.axis[0], 4)
# 拆分j轴：j_outer, j_inner = split(j, 4)
j_outer, j_inner = s[C].split(C.op.axis[1], 4)
# 重新排序：i_outer, j_outer, i_inner, j_inner, k
s[C].reorder(i_outer, j_outer, i_inner, j_inner, k)
# 向量化最内层j_inner
s[C].vectorize(j_inner)

结果对比：优化后耗时约320周期，性能提升3.75倍。主要收益来自SIMD指令减少了循环迭代次数，同时reorder改善了数据局部性。

风险与代价：向量化要求数据对齐，如果A或B的地址未对齐，可能触发异常。此外，split的块大小需要与硬件寄存器宽度匹配，否则会引入额外拷贝。

复盘经验：在MCU上，手工调优的关键是“小步快跑”——每次只改一个原语，测量性能，再决定下一步。不要一次性应用所有原语，否则难以定位性能瓶颈。

4.4 常见误区与总结复盘

手工调优虽然灵活，但容易陷入几个典型误区：

• 过度拆分：将循环拆得过于细碎，导致循环开销反而增加。在MCU上，循环嵌套深度不宜超过3层。
• 忽略数据对齐：vectorize要求数据按SIMD宽度对齐，否则编译器会生成额外的对齐处理代码，甚至报错。
• 盲目使用parallel：MCU多核场景较少，且并行调度会引入同步开销。在单核上使用parallel不会带来收益，反而可能因线程管理增加开销。
• 忽视内存布局：调度只改变循环结构，不改变数据布局。如果A和B的存储顺序不匹配，需要配合layout_transform或pad。

总结而言，手工调优是TVM Micro中一项必备技能。它要求开发者既理解计算逻辑，又熟悉硬件细节。通过合理组合split、fuse、vectorize、parallel等原语，可以在资源受限的MCU上获得接近理论峰值的性能。下一阶段，你可以尝试将手工调度与自动调优结合——先用手工调度缩小搜索空间，再用AutoTVM微调参数，实现“人工经验+机器搜索”的协同优化。