VIP20
本课程属于：024-英伟达技术 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大规模推理集群端到端性能突破

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 大规模推理集群的性能挑战与突破意义
课程导入学习目标
02
基础知识
推理集群的架构组成 · 关键性能指标（吞吐量 · 延迟
基础知识推理集群的架构组…
03
硬件选型与配置
GPU · CPU · 内存
硬件选型配置
04
软件栈与框架
推理引擎（如TensorRT · ONNX Runtime） · 分布式框架（如Ray
软件栈框架
05
模型优化技术
模型量化 · 剪枝 · 蒸馏等压缩方法
模型优化技术模型量化
06
推理服务架构
同步/异步推理 · 批处理策略 · 动态批大小
推理服务架构同步
07
分布式推理策略
模型并行 · 数据并行 · 流水线并行
分布式推理策略模型并行
08
性能剖析与监控
使用Profiling工具（如NVI… · PyTorch Profiler）定… · 监控系统指标
性能剖析监控
09
性能调优方法论
端到端性能调优的步骤 · 常见性能陷阱及优化优先级
性能调优方法论端到端性能调优的…
10
案例实战
基于真实场景的推理集群性能调优实战 · 从基线到优化的完整过程
案例实战基于真实场景的推…
11
弹性伸缩与资源管理
基于Kubernetes的自动伸缩 · GPU共享与隔离 · 资源配额管理
弹性伸缩资源管理
12
缓存与预取技术
KV Cache优化 · 结果缓存 · 数据预取与流水线重叠
缓存预取技术
13
网络优化
RDMA · InfiniBand · 拥塞控制
网络优化RDMA
14
存储与数据加载
高性能文件系统 · 数据预处理流水线 · 数据加载器优化
存储数据加载
15
推理精度与性能权衡
FP16/INT8/INT4量化对精…
推理精度性能权衡
16
多租户与安全
多用户隔离 · 安全容器 · 权限控制对性能的影响
多租户安全
17
故障恢复与容错
检查点 · 任务迁移 · 优雅降级
故障恢复容错
18
成本优化
性能与成本平衡 · spot实例使用 · 资源打包策略
成本优化性能
19
性能基准测试
设计基准测试集 · 评估指标 · 对比分析
性能基准测试设计基准测试集
20
常见问题与解决方案
内存溢出 · GPU利用率低 · 通信瓶颈等典型问题及修复
常见问题解决方案
21
高级主题
动态形状处理 · 多模型服务 · 模型热更新
高级主题动态形状处理
22
端到端性能分析
从请求进入集群到返回结果的完整链路分… · 识别各阶段耗时
端到端性能分析从请求进入集群到…
23
性能优化工具链
构建自动化性能测试与调优平台 · 集成CI/CD
性能优化工具链构建自动化性能测…
24
案例研究
某大型语言模型推理集群的性能突破实践 · 包括技术选型与优化细节
案例研究某大型语言模型推…
25
前沿技术
推测解码 · 投机采样 · 并行解码等最新推理加速技术
前沿技术推测解码
26
综合实战项目
设计并优化一个大规模推理集群 · 满足特定SLA要求
综合实战项目设计并优化一个大…
27
性能调优进阶
使用机器学习方法预测性能 · 自动调参
性能调优进阶使用机器学习方法…
28
团队协作与流程
性能优化项目的组织 · 文档化 · 知识沉淀
团队协作流程
29
课程总结
核心要点回顾 · 学习路径建议 · 未来趋势展望
课程总结核心要点回顾
30
结业考核
综合测试与项目答辩 · 评估学员掌握程度
结业考核综合测试