VIP10
本课程属于：034-云原生AI算力与GPU平台工程 后端、数据与云原生工程 · 共 10 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

GPU集群容量与成本治理工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与治理目标
目标=GPU集群容量与成本治理的定义 · 核心矛盾 · 工程目标
课程导入治理目标
02
GPU集群资源模型与计量体系
目标=GPU型号 · 显存 · 算力
GPU集群资源模型
03
容量规划与需求预测
目标=基于历史负载 · 业务增长 · 模型训练/推理趋势进行GPU需求预测
容量规划需求预测
04
GPU调度与队列治理
目标=Kubernetes · Slurm · YARN等调度器中的GPU调度机制
GPU调度
05
GPU共享与切分技术
目标=MIG · vGPU · 时间片
GPU共享
06
碎片治理与装箱优化
目标=GPU碎片成因 · 拓扑感知调度 · NUMA与NVLink亲和
碎片治理装箱优化
07
训练任务容量治理
目标=大模型训练的资源需求特征 · 弹性训练 · 断点续训
训练任务容量治理目标=大模型训练…
08
推理服务容量治理
目标=在线推理的QPS · 延迟 · 批处理
推理服务容量治理QPS
09
多租户配额与成本分摊
目标=租户配额模型 · 资源预留 · 超额使用
多租户配额成本分摊
10
GPU利用率监控与可观测性
目标=DCGM · Prometheus · Grafana等采集GPU利用率
GPU利用率监控
11
成本模型与单位经济性
目标=GPU采购/租赁 · 电力 · 机架
成本模型单位经济性
12
预算、告警与成本控制
目标=预算编制 · 成本异常检测 · 阈值告警
预算告警
13
闲置与低效资源识别
目标=识别空闲GPU · 低利用率任务 · 僵尸任务
闲置低效资源识别
14
弹性伸缩与自动扩缩容
目标=基于负载指标的GPU节点池扩缩… · 任务队列驱动扩缩容 · 冷启动与预热策略
弹性伸缩自动扩缩容
15
混部与潮汐资源利用
目标=在线与离线混部 · 训练与推理混部 · 潮汐资源调度
混部潮汐资源利用
16
GPU资源回收与生命周期管理
目标=任务结束 · 超时 · 失败后的资源释放
GPU资源回收
17
容量水位与SLA保障
目标=容量水位定义 · 安全缓冲 · 过载保护
SLA容量水位
18
成本优化实战
目标=模型压缩 · 量化 · 蒸馏
成本优化实战目标=模型压缩
19
存储与网络对GPU成本的影响
目标=数据集存储 · 检查点 · 模型仓库
GPU存储
20
GPU集群能效与绿色治理
目标=功耗监控 · PUE · 动态调频
GPU集群能效
21
容量与成本治理平台设计
目标=治理平台架构 · 数据模型 · API
容量成本治理平台设计
22
策略即代码与自动化治理
目标=用策略引擎 · Operator · CronJob实现配额
策略即代码自动化治理
23
多集群与多云GPU治理
目标=跨集群容量调度 · 多云成本对比 · 数据引力
GPU多集群
24
故障、异常与成本风险治理
目标=GPU故障 · ECC错误 · 节点宕机
故障异常
25
容量与成本治理的组织与流程
目标=角色职责 · 审批流程 · 容量评审
容量成本治理的组织
26
典型行业案例
目标=大模型公司 · 云厂商 · 自动驾驶
典型行业案例目标=大模型公司
27
实战项目一
目标=搭建GPU利用率与成本监控看板 · 完成数据采集 · 指标计算与可视化
实战项目一GPU
28
实战项目二
目标=设计并实现多租户GPU配额与成… · 输出账单与治理报告
实战项目二GPU
29
实战项目三
目标=针对训练与推理混合集群 · 制定碎片治理与弹性扩缩容方案并验证成…
实战项目三目标=针对训练
30
课程总结与前沿展望
目标=治理成熟度模型 · 关键成功要素 · 新技术趋势与持续演进路线
课程总结前沿展望