1. 课程导入
TinyML（微型机器学习）正将人工智能从云端数据中心推向数十亿个微控制器（MCU）与边缘传感器节点。当模型被压缩到几十KB甚至几KB，部署在Cortex-M系列或RISC-V内核上时，一个核心工程问题随之浮现：推理任务如何在资源极度受限的环境中，同时满足实时响应、低功耗与可接受的准确率？这三者并非独立优化目标，而是相互制约的三角关系——提升准确率往往需要更复杂的模型，导致推理时间延长与功耗上升；追求极致实时性可能迫使模型量化过度，牺牲精度；而激进的低功耗策略（如频繁进入深度睡眠）则可能引入调度延迟，破坏实时性。本章作为整个课程的开篇，将系统梳理TinyML推理调度的背景、学习目标、核心挑战与课程框架，为后续章节的深入技术探讨奠定基础。
上图展示了本章的核心概念框架：推理调度器位于实时性、功耗与准确率三者的交汇点，它负责在传感器数据流与执行器之间，动态决定“何时运行推理”“运行哪个模型版本”“以何种频率与精度执行”。这张图将贯穿整个课程——后续所有调度算法、功耗优化技术、模型压缩策略，本质上都是在调整这个三角平衡的支点位置。
1.1 TinyML推理调度的背景与驱动力
TinyML的兴起源于三个技术趋势的汇合：边缘算力的跃升（Cortex-M55等内核引入Helium DSP指令，算力可达4 GOPS）、模型压缩技术的成熟（量化、剪枝、知识蒸馏已能将ResNet-50压缩至数百KB）、以及超低功耗芯片的普及（STM32U5系列待机功耗低至1.1μA）。然而，算力提升与功耗降低并未消除调度难题——反而因为任务类型多样化（从关键词唤醒到振动异常检测），调度复杂度显著增加。
一个典型的工业预测性维护场景中，设备需要同时运行三个推理任务：①振动信号的频谱异常检测（每10ms一次，要求<5ms完成）；②温度趋势预测（每1s一次，允许50ms延迟）；③故障类型分类（仅当异常触发时运行，需最高精度模型）。这三个任务对实时性、功耗、准确率的要求各不相同，若采用简单的“顺序执行”策略，高频任务将阻塞低频任务，而低频高精度任务又可能因资源被抢占而无法及时响应。这正是推理调度需要解决的核心矛盾。
1.2 学习目标：从原理到落地的四层能力
完成本章及整个课程学习后，学习者应具备以下四层能力，它们层层递进，构成完整的TinyML调度知识体系：
| 能力层级 | 具体目标 | 对应章节 |
|---|---|---|
| L1 理解 | 解释实时性、功耗、准确率三者的物理约束与数学关系；描述典型TinyML硬件架构（MCU+传感器+无线模块）的资源边界 | 第1-3章 |
| L2 分析 | 使用WCET（最坏执行时间）分析、能量模型、精度损失模型对推理任务进行量化评估；识别调度瓶颈 | 第4-7章 |
| L3 设计 | 针对具体场景选择或设计调度策略（事件驱动、RMS、EDF、DVFS组合）；配置RTOS任务参数 | 第8-15章 |
| L4 优化 | 综合运用模型量化、早停机制、模型级联、动态精度调节等手段，在三角约束下逼近最优解 | 第16-28章 |
课程特别强调“测量驱动设计”的理念——所有调度决策必须建立在实测数据（如实际推理耗时、电流曲线、精度混淆矩阵）之上，而非理论估算。因此，第29-30章将专门讲解性能剖析工具（如Arm Cycle模型、ULPBench）与端到端调优方法论。
1.3 核心挑战：三角约束的深层剖析
理解三大挑战的本质，是掌握调度技术的前提。以下从工程视角逐一拆解：
挑战一：实时性——确定性比速度更重要
在TinyML场景中，实时性并非单纯追求“快”，而是追求可预测的延迟。例如，一个音频关键词唤醒系统，从声音触发到推理完成的总延迟必须稳定在30ms±3ms内，即使平均延迟只有20ms，但偶尔出现50ms的抖动，也会导致用户体验割裂。实时性挑战来自三方面：
- 任务间干扰：多个推理任务共享CPU、内存总线、DMA控制器，相互抢占导致执行时间不确定。
- 缓存与预取行为：MCU的Flash缓存命中率波动可达3倍，直接影响推理耗时。
- 中断延迟：传感器数据到达中断与推理任务之间的调度延迟，在RTOS中通常需要控制在10μs级。
挑战二：功耗——能量是真正的稀缺资源
对于纽扣电池供电的设备（如智能手表中的活动识别），平均功耗需控制在100μA以下。推理任务的功耗由三部分构成：计算功耗（与时钟频率、电压平方成正比）、内存访问功耗（Flash读取比SRAM高5-10倍）、外设功耗（传感器与无线模块常占50%以上）。调度策略直接影响功耗：频繁唤醒CPU会消耗静态功耗，而长时间保持活跃则增加动态功耗。理想的调度器应让CPU在“突发计算”与“深度睡眠”之间快速切换，同时利用DMA和外围设备并行工作。
挑战三：准确率——模型精度与资源开销的权衡
准确率并非越高越好——一个99%精度的模型若需要2MB Flash和50ms推理时间，在资源受限设备上可能完全不可用。实际工程中，准确率需求由应用场景决定：关键词唤醒只需95%的召回率即可，而医疗级心电异常检测可能需要99.9%的灵敏度。调度器需要支持多版本模型切换：在电池电量充足时运行高精度模型，电量低于20%时自动降级为轻量模型，通过调度策略实现“精度随能量自适应”。
1.4 课程框架：从理论到实战的六阶段路径
本课程共30章，按认知逻辑分为六个阶段，每个阶段解决一组关键问题：
| 阶段 | 章节范围 | 核心主题 | 关键输出 |
|---|---|---|---|
| 基础篇 | 第1-5章 | 硬件架构、RTOS基础、模型压缩原理 | 能搭建TinyML开发环境并运行首个推理任务 |
| 测量篇 | 第6-9章 | 性能剖析、功耗测量、精度评估方法 | 掌握使用逻辑分析仪、电流探针、混淆矩阵进行量化分析 |
| 调度算法篇 | 第10-15章 | RMS、EDF、事件驱动、混合调度器设计 | 能在FreeRTOS上实现优先级调度与任务参数配置 |
| 功耗优化篇 | 第16-20章 | DVFS、动态电源管理、传感器数据降频 | 实现“事件唤醒-快速推理-深度睡眠”的低功耗循环 |
| 精度自适应篇 | 第21-25章 | 多精度模型切换、早停机制、模型级联 | 构建根据电池电量和输入复杂度动态调整精度的系统 |
| 综合实战篇 | 第26-30章 | 端到端案例（智能穿戴、工业监测）、调优方法论 | 完成一个满足实时性、功耗、准确率三重约束的完整项目 |
1.5 案例拆解：智能耳戴设备的调度设计初探
为帮助建立直观认知，我们以一个简化但完整的案例说明调度三角平衡的工程实践。某款TWS耳机需要实现三个功能：语音唤醒（始终开启）、环境噪声分类（每5秒一次）、运动状态检测（每1秒一次）。硬件为Cortex-M33内核，主频96MHz，512KB Flash，128KB SRAM，电池容量45mAh。
初始现象与目标：工程师最初将所有任务放在同一个线程中顺序执行，导致语音唤醒延迟达到80ms（目标<30ms），且整机平均功耗高达2.5mA（目标<1.2mA）。
关键数据采集：使用电流探针测量各任务功耗，使用逻辑分析仪抓取任务执行时序，得到以下数据：
任务执行时间（实测）：
- 语音唤醒模型（8bit量化）：12ms @ 96MHz，峰值电流8mA
- 噪声分类模型（4bit量化）：35ms @ 96MHz，峰值电流9mA
- 运动检测模型（16bit量化）：28ms @ 96MHz，峰值电流7mA
- 空闲状态（WFI指令）：基础电流0.8mA分析判断过程：问题根源在于：①顺序执行导致语音唤醒被噪声分类阻塞（35ms+12ms=47ms，加上调度开销实际80ms）；②CPU在任务间切换时频繁唤醒外设，增加了静态功耗；③所有任务使用同一精度模型，没有根据场景动态调整。
调度策略调整：
- 优先级抢占：将语音唤醒设为最高优先级中断驱动任务（通过EXMC中断触发），噪声分类与运动检测设为低优先级轮询任务。
- DVFS动态调频：语音唤醒时运行在96MHz，噪声分类时降频至48MHz（执行时间变为70ms，但功耗降低40%），运动检测时运行在64MHz。
- 模型级联：噪声分类先运行4bit量化模型（35ms），若置信度>0.8则直接输出，否则再运行8bit模型（额外50ms）——平均执行时间降至42ms。
结果对比：语音唤醒延迟降至22ms（满足<30ms要求），平均功耗降至1.1mA（接近目标），噪声分类准确率从82%提升至87%（级联模型贡献5%提升）。代价是代码复杂度增加约300行，且需要额外的Flash存储两个模型版本（增加120KB）。
复盘经验：①调度优化必须基于实测数据，理论计算与实际情况偏差可达30%；②优先级设计要遵循“关键任务最短路径”原则；③模型级联是平衡准确率与功耗的有效手段，但需评估额外Flash开销；④DVFS调频的切换延迟（约5μs）在低频任务中可忽略，但在高频任务中需谨慎使用。
1.6 总结与学习路径建议
本章作为课程导入，明确了TinyML推理调度的本质——在实时性、功耗、准确率构成的三角约束空间中，寻找满足应用需求的最优工作点。核心要点可归纳为：
- 实时性追求的是确定性延迟，而非速度；
- 功耗优化的关键在于调度策略与硬件低功耗特性的协同；
- 准确率是动态可调的维度，可通过模型级联、精度切换实现“按需供给”；
- 三者通过推理调度器统一协调，调度器设计需基于实测数据迭代。
建议学习者按照“基础→测量→算法→优化→实战”的路径推进，每章结束后完成配套实验（开发板+RTOS+开源模型）。下一阶段将从硬件架构细节入手，深入理解MCU的存储层次、DMA机制与中断控制器如何影响推理调度的底层行为。