VIP8
本课程属于：014-GPU算力集群架构与部署工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大规模GPU集群推理服务性能优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 性能优化的重要性与挑战
课程导入学习目标
02
GPU计算基础
GPU架构 · CUDA核心 · 显存层次
GPU计算基础
03
推理服务概述
推理与训练的区别 · 推理服务架构 · 性能指标（延迟
推理服务概述推理
04
性能分析工具
NVIDIA Nsight · Profiling工具 · 性能瓶颈识别方法
性能分析工具NVIDIA
05
模型优化技术
模型剪枝 · 量化 · 蒸馏
模型优化技术模型剪枝
06
推理引擎优化
TensorRT · ONNX Runtime · vLLM等引擎的配置与优化
推理引擎优化TensorRT
07
批处理与动态批处理
静态批处理 · 动态批处理 · 连续批处理（Continuous B…
批处理动态批处理
08
并发与异步处理
异步推理 · 多线程 · 事件驱动架构
并发异步处理
09
显存优化
显存池化 · 显存复用 · KV Cache优化
显存优化显存池化
10
通信优化
GPU间通信（NVLink · PCIe） · 集合通信（NCCL）
通信优化GPU
11
分布式推理
模型并行 · 张量并行 · 流水线并行
分布式推理模型并行
12
负载均衡与调度
请求路由 · 动态调度 · 优先级队列
负载均衡调度
13
自动缩放
水平扩展 · 垂直扩展 · 基于负载的弹性伸缩
自动缩放水平扩展
14
性能测试与基准
基准测试方法 · 负载生成 · 性能回归测试
性能测试基准
15
案例实战
图像分类服务优化
案例实战图像分类服务优化
16
案例实战
自然语言处理服务优化
案例实战自然语言处理服务…
17
案例实战
推荐系统推理优化
案例实战推荐系统推理优化
18
常见问题与调优
GPU利用率低 · 显存溢出 · 延迟抖动
常见问题调优
19
监控与告警
指标采集 · 可视化 · 告警策略
监控告警
20
成本优化
性能与成本平衡 · Spot实例 · 混合部署
成本优化性能
21
安全与稳定性
故障恢复 · 容错机制 · 安全加固
安全稳定性
22
前沿技术
模型并行新范式 · 推理加速新硬件 · 自动优化工具
前沿技术模型并行新范式
23
综合实战
端到端推理服务优化项目
综合实战端到端推理服务优…
24
性能优化方法论
瓶颈定位 · 优化策略 · 迭代流程
性能优化方法论瓶颈定位
25
GPU集群管理
集群资源管理 · 任务调度 · 资源隔离
GPU集群管理
26
推理服务框架
FastAPI · Triton Inference S… · Ray Serve等
推理服务框架FastAPI
27
模型部署实践
容器化 · Kubernetes部署 · 模型版本管理
模型部署实践容器化
28
性能调优进阶
内核调优 · CUDA图 · 自定义算子
性能调优进阶内核调优
29
案例分析
业界大规模推理系统（如 · BERT服务）的优化经验
案例分析
30
课程总结与展望
核心要点回顾 · 学习路径建议 · 未来趋势
课程总结核心要点回顾