4、调度系统概述：调度器角色、任务模型、资源抽象、调度决策对功耗和延迟的影响路径
在异构NPU（Neural Processing Unit）系统中，调度器是连接上层AI应用与底层算力资源的核心枢纽。它并非简单的“任务分发器”，而是一个在功耗预算、延迟约束、资源利用率之间进行动态权衡的决策引擎。理解调度器的角色、任务模型、资源抽象方式，以及调度决策如何沿特定路径影响功耗与延迟，是掌握功耗延迟权衡实战的认知基础。本章将系统拆解调度系统的四个核心维度，并建立它们之间的因果链路。
上图展示了调度系统的基本因果框架：任务模型与资源抽象作为输入约束，调度器在中间做出映射与排序决策，最终分别作用于功耗与延迟两条输出路径。值得注意的是，功耗与延迟并非独立变量——它们通过温度、电压、争用等机制相互耦合，这正是调度优化的难点所在。
4.1 调度器的角色定位：从“分发器”到“权衡决策者”
在传统CPU调度中，调度器主要关注公平性与吞吐量；而在异构NPU场景中，调度器的角色发生了本质变化。NPU通常包含多种计算单元（如张量核、向量核、标量核），每种单元具有不同的能效比和延迟特性。调度器必须回答三个核心问题：哪个任务（What）、放在哪里执行（Where）、以什么频率/电压执行（How）。
核心原理：调度器的三层职责
- 任务准入与排序：决定哪些任务进入就绪队列，以及按什么优先级排序。这直接影响任务的等待时间（延迟）和空闲核的功耗状态。
- 资源映射与绑定：将任务映射到具体的计算核或加速器。不同核的能效差异可达3-5倍，映射错误会导致功耗浪费或延迟超标。
- 动态调频调压（DVFS）协同：调度器与电源管理单元联动，根据任务负载特性调整工作电压/频率。这是功耗延迟权衡中最直接的杠杆。
判断方法：识别调度器设计的关键指标
| 指标维度 | 传统CPU调度 | 异构NPU调度 | 对功耗/延迟的影响 |
|---|---|---|---|
| 调度粒度 | 毫秒级时间片 | 微秒级算子级 | 粒度越细，调度开销越大，但功耗控制更精准 |
| 目标函数 | 最大化吞吐 | 最小化能耗延迟积（EDP） | EDP综合反映两者的权衡 |
| 异构感知 | 通常不考虑 | 必须感知核类型差异 | 异构映射不当可导致30%以上功耗浪费 |
| 功耗反馈 | 无或滞后 | 实时温度/电流采样 | 反馈延迟决定DVFS响应速度 |
4.2 任务模型与资源抽象：调度决策的输入约束
调度器无法优化它无法理解的对象。任务模型定义了“调度的对象是什么”，资源抽象定义了“可用的手段有哪些”。两者共同构成调度决策的约束空间。
任务模型的三种典型形态
- DAG（有向无环图）任务模型：深度学习推理通常表示为DAG，节点是算子（如Conv、ReLU、Pooling），边是数据依赖。调度器需要决定哪些节点可以并行执行（无依赖关系），哪些必须串行等待。并行度越高，延迟越低，但瞬时功耗峰值越高。
- 周期实时任务模型：在自动驾驶等场景中，感知、规划、控制任务以固定周期触发，具有硬截止时间。调度器必须保证最坏情况执行时间（WCET）不超过截止时间，这往往需要预留功耗余量。
- 事件驱动任务模型：如语音唤醒、异常检测等稀疏任务。任务到达时间不确定，调度器需要在“保持核常开以降低响应延迟”和“深度睡眠以节省功耗”之间做出选择。
资源抽象的关键层次
资源抽象隐藏硬件细节，为调度器提供统一的操作接口。在异构NPU中，资源抽象至少包含以下层次：
- 计算资源抽象：将不同型号的NPU核抽象为具有“算力容量”和“能效比”属性的逻辑单元。例如，一个张量核可抽象为“8 TOPS，2.5 TOPS/W”，一个向量核抽象为“2 TOPS，1.8 TOPS/W”。
- 存储资源抽象：包括片上SRAM、HBM、DDR等层次。调度器需要感知数据所在位置，因为数据搬移的能耗可能占整体能耗的30%-50%。
- 电源域抽象：将芯片划分为多个可独立开关的电源域。调度器可以关闭空闲域的电源（功耗归零），但唤醒需要额外延迟（通常10-100μs）。
4.3 调度决策对功耗和延迟的影响路径
调度决策并非直接作用于物理量，而是通过一系列中间变量传导。理解这些传导路径，是进行针对性优化的前提。
影响路径一：任务映射 → 资源利用率 → 功耗密度
当调度器将多个任务映射到同一核时，该核的利用率上升，动态功耗增加；但其他核可能处于空闲状态，若未及时关闭电源，则产生无谓的漏电功耗。反之，将任务分散到多个核可降低单核功耗密度（有利于散热），但增加了核间通信开销和总功耗（因为多个核同时活跃）。
影响路径二：频率选择 → 执行时间 → 延迟
DVFS是调度器最直接的延迟控制手段。频率提升一倍，执行时间近似减半，但动态功耗按平方关系增长（P ∝ f³，因为V也需相应提升）。调度器需要判断：当前任务是否在关键路径上？如果是，则提高频率以保延迟；如果不是，则降低频率以省功耗。
影响路径三：排序策略 → 排队延迟 → 端到端延迟
对于多个等待执行的任务，调度顺序直接影响每个任务的等待时间。最短作业优先（SJF）可降低平均延迟，但可能导致长任务饥饿；优先级抢占可保证关键任务延迟，但增加上下文切换开销（每次切换约5-20μs，且伴随缓存失效）。
4.4 案例拆解：视频流分析中的调度权衡
为将上述概念落地，我们分析一个典型的视频流分析场景：边缘设备上的实时目标检测，输入为30fps的1080p视频流，使用异构NPU（含2个张量核和4个向量核）。
场景背景与约束
- 延迟约束：单帧处理时间必须小于33ms（保证30fps），端到端延迟（从摄像头采集到输出结果）小于100ms。
- 功耗约束：设备总功耗预算为15W，其中NPU功耗预算为8W，超过则触发降频保护。
- 任务特征：每帧包含约20个算子，其中前处理（缩放、归一化）适合向量核，主干网络（卷积）适合张量核，后处理（NMS）适合标量核。
初始现象与问题
初始调度策略为“贪心并行”：所有算子尽可能并行执行，所有核运行在最高频率1.2GHz。实测结果：单帧处理时间28ms（满足延迟），但NPU功耗达到11W，超过预算。运行3分钟后，芯片温度升至95°C，触发降频至900MHz，单帧处理时间恶化至38ms，帧率跌至22fps。
分析判断过程
- 功耗拆解：通过片上传感器读取各电源域电流，发现张量核功耗6.5W（占59%），向量核3.2W，标量核1.3W。张量核利用率仅65%，但频率最高导致功耗密度过大。
- 延迟拆解：使用性能计数器分析各算子执行时间，发现主干网络中的Conv3_1算子耗时8ms（关键路径），而前处理算子仅需2ms但占用了向量核的并行带宽。
- 瓶颈识别：张量核并非完全饱和，但频率过高导致功耗浪费；向量核存在空闲窗口，但未及时降频。
调度策略调整
// 调整前：所有核固定1.2GHz
// 调整后策略：
1. 张量核：频率设为1.0GHz（降低17%），动态功耗降为原来的(1.0/1.2)³≈58%
2. 向量核：在帧间空闲窗口（约5ms）内降频至600MHz，进入低功耗待机
3. 调度顺序：将前处理算子与主干网络第一层算子串行化，避免争用内存带宽
4. 启用功耗预算控制器：当瞬时功耗超过8W时，优先降低非关键路径核的频率结果对比与复盘
| 指标 | 调整前 | 调整后 | 变化 |
|---|---|---|---|
| 单帧处理时间 | 28ms | 31ms | +3ms（仍满足33ms约束） |
| NPU平均功耗 | 11W | 7.2W | -34.5% |
| 峰值温度 | 95°C | 78°C | -17°C |
| 长时间帧率稳定性 | 22fps（降频后） | 29fps（稳定） | +31.8% |
复盘经验：本案例揭示了三个关键教训。第一，最高频率并非最优解——适度降频可大幅降低功耗，而延迟损失有限（因为内存带宽可能成为瓶颈）。第二，功耗预算必须作为硬约束参与调度决策，而非事后补救。第三，任务串行化有时优于并行——减少核间竞争可降低功耗，且对端到端延迟影响可控。
4.5 常见误区与总结复盘
在调度系统设计中，以下误区最为常见，需要在实际项目中警惕。
高利用率可能意味着任务在低频率下长时间运行，导致能耗延迟积（EDP）恶化。正确的指标是“能效利用率”——单位功耗完成的有效工作量。
复杂的调度算法（如全局最优搜索）可能消耗大量CPU时间和功耗。在嵌入式场景中，调度器本身的功耗可能占NPU总功耗的5%-10%。应使用轻量级启发式算法，或采用硬件调度器加速。
工作负载是动态变化的。固定频率映射表无法适应不同模型、不同输入尺寸的功耗特征。应建立在线学习机制，根据历史执行数据动态调整调度参数。
总结：调度系统设计的核心原则
- 延迟与功耗的权衡必须量化：使用EDP（能耗延迟积）或能量延迟平方积（ED²P）作为统一优化目标，避免主观判断。
- 资源抽象层要保留“状态切换代价”信息：否则调度器无法做出合理的电源管理决策。
- 反馈回路是必须的：温度、电流、任务完成时间等信号应实时反馈给调度器，形成闭环控制。
- 预留安全裕度：在硬实时场景中，调度器必须考虑最坏情况执行时间（WCET），不能以平均执行时间作为依据。