首页
›
AI算力与GPU工程
›
021-推理性能瓶颈
›
《算力调度器架构、算法与资源管理原理》
VIP20
本课程属于:021-推理性能瓶颈
AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
算力调度器核心原理解析
📚 共计 30 章节
01
调度器概述
什么是算力调度器 · 分布式位置 · 核心目标:吞吐量、延迟、公平性
基础
概念
02
调度器核心模型
任务与资源抽象 · 调度队列模型 · 周期与事件驱动
模型
抽象
03
常见调度算法 (上)
FCFS · SJF · 时间片轮转 (RR)
算法
经典
04
常见调度算法 (下)
优先级调度 · MLFQ · 完全公平调度 CFS
算法
多级队列
05
资源抽象与建模
CPU/内存/GPU-NPU模型 · 异构资源统一描述
资源
异构
06
任务状态机
生命周期 Pending→Running→Succeeded/Failed · 状态转换图
状态
生命周期
07
调度策略与亲和性
CPU亲和性 · NUMA感知 · GPU拓扑感知
亲和性
拓扑
08
抢占与驱逐
Preemption · Eviction · 优先级反转与解决
抢占
驱逐
09
调度器架构设计
单体 vs 两级 vs 共享状态调度器
架构
设计
10
分布式调度器
Google Borg · Omega · Kubernetes Scheduler
分布式
Borg
11
核心数据结构
堆与优先队列 · 红黑树 · 跳表应用
数据结构
性能
12
锁与并发
乐观锁 vs 悲观锁 · 无锁队列 · CAS
并发
锁
13
调度器性能优化
延迟优化 · 吞吐量 · 水平扩展
优化
扩展
14
调度器可观测性
Metrics · Tracing · Logging
监控
可观测
15
测试与验证
模拟测试 · 混沌工程 · 正确性验证
测试
混沌
16
GPU调度原理
显存管理 · CUDA Stream · MIG调度
GPU
显存
17
NPU/TPU调度原理
AI芯片调度 · 张量核心 · 模型/数据并行
NPU
TPU
18
容器调度
Docker · Kubernetes Pod · Requests & Limits
容器
K8s
19
批处理调度
Slurm · YARN · Spark任务调度
批处理
集群
20
实时调度
硬/软实时 · EDF · RMS
实时
EDF
21
优先级与QoS
优先级队列 · QoS分级 · 资源抢占
QoS
优先级
22
回退与重试
指数退避 · 重试策略 · 死锁检测恢复
重试
退避
23
负载均衡
静态/动态 · 一致性哈希 · Power of Two Choices
均衡
哈希
24
数据局部性
Data Locality · 计算存储协同 · 缓存感知
局部性
缓存
25
容错设计
节点故障 · 任务重调度 · 调度器HA
容错
高可用
26
资源碎片管理
碎片产生 · 整理策略 · 碎片感知调度
碎片
资源
27
多租户隔离
租户隔离 · Quota · Dominant Resource Fairness
多租户
公平
28
弹性伸缩
自动扩缩容 · HPA · VPA
弹性
HPA
29
成本优化
Spot实例 · 竞价管理 · 成本感知策略
成本
Spot
30
调度器未来趋势
AI驱动 · Serverless · 边缘计算 · 联邦调度
未来
趋势
所属VIP或分类
同VIP:AI芯片推理架构与端到端性能优化
同VIP:AI芯片推理瓶颈诊断与系统优化实战
同VIP:AI芯片推理系统性能优化工程实战