VIP8

本课程属于：038-大模型推理并发与调度工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

推理并发调度系统化实践

📚 共计 30 章节

并发调度概述

什么是并发调度 · 为什么需要 · 并发与并行区别 · 推理场景核心价值

调度系统架构设计

调度器核心组件 · 任务队列 · 工作线程池 · 策略接口设计

任务模型与状态管理

任务生命周期 · 状态机 · 优先级模型 · 依赖关系管理

队列调度算法

FIFO · 优先级 · 最短作业优先 · 时间片轮转 · 多级反馈队列

资源感知调度

CPU/GPU抽象 · 内存管理 · 预留与超卖 · 资源亲和性

负载均衡策略

静态/动态均衡 · 一致性哈希 · 最小连接数 · 加权轮询

任务窃取机制

工作窃取原理 · 双端队列 · 窃取策略优化 · 避免竞争

并发控制与同步

互斥锁 · 读写锁 · 条件变量 · 信号量 · 无锁编程

线程池设计与调优

核心参数 · 动态扩缩容 · 拒绝策略 · 线程池监控

线程池调优

协程与异步调度

协程原理 · 异步IO · 事件循环 · 协程调度器实现

分布式调度基础

分布式挑战 · 中心化vs去中心化 · 一致性 · CAP理论

分布式理论

任务分片与分发

数据分片 · 任务粒度 · 路由算法 · 分片重平衡

调度策略热加载

配置中心 · 动态切换 · 灰度发布 · 策略版本管理

热加载策略

优先级反转与解决

反转问题 · 优先级继承 · 天花板协议 · 案例分析

优先级反转

死锁检测与处理

死锁条件 · 预防 · 避免(银行家) · 检测与恢复

调度延迟优化

延迟来源 · 批处理 · 预调度 · 零拷贝调度

推理场景特有调度

请求特征 · 动态批处理 · 连续批处理 · 投机解码

推理批处理

服务质量保障

SLA定义 · 排队模型 · 超时处理 · 降级与熔断

调度系统可观测性

指标采集 · 链路追踪 · 日志聚合 · 仪表盘设计

可观测监控

调度系统压测与调优

压测方法论 · 瓶颈定位 · 参数调优 · 容量规划

GPU资源调度

显存管理 · CUDA流 · MPS/MIG · GPU共享与隔离

异构计算调度

CPU+GPU协同 · NPU/TPU · 异构抽象 · 设备选择

内存池与缓存调度

内存池设计 · 缓存淘汰 · 预取写回 · 共享内存

Reactor/Proactor · IO多路复用 · 零拷贝网络传输

调度系统容错设计

故障检测 · 任务重试 · 检查点恢复 · 主备切换

容错高可用

调度系统安全

权限控制 · 资源隔离 · 沙箱 · 请求认证鉴权

调度系统扩展性设计

插件化 · SPI · 事件驱动 · 微服务化调度

实战案例一：大语言模型推理调度

LLM推理调度系统设计与实现

实战案例二：实时视频推理调度

实时视频推理调度系统设计与实现

调度系统未来趋势

AI驱动调度 · Serverless · 边缘计算 · 量子调度展望