VIP8

本课程属于：017-CUDA与TensorRT推理优化工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

多卡推理负载不均与CUDA拓扑感知部署

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 多卡推理负载不均问题概述

课程导入学习目标

GPU基础与CUDA编程模型

GPU架构 · CUDA核心概念 · 内存层次

多卡推理系统架构

多卡服务器拓扑 · PCIe/NVLink/NVSwit… · CPU-GPU通信

多卡推理系统架构多卡服务器拓扑

负载不均的成因分析

模型并行 · 数据并行 · 动态请求

负载不均的成因分…模型并行

性能分析工具

nvidia-smi · Nsight Systems · Nsight Compute

性能分析工具nvidia-smi

负载均衡策略

静态负载均衡 · 动态负载均衡 · 任务调度算法

负载均衡策略静态负载均衡

CUDA拓扑感知

拓扑发现 · NUMA感知 · 亲和性设置

CUDA拓扑感知

多卡通信优化

点对点通信 · 集合通信 · NCCL库使用

多卡通信优化点对点通信

模型并行与负载均衡

张量并行 · 流水线并行 · 负载分配

模型并行负载均衡

数据并行与负载均衡

数据分片 · 动态批处理 · 梯度累积

数据并行负载均衡

推理引擎优化

TensorRT · ONNX Runtime · vLLM等

推理引擎优化TensorRT

基于PyTorch的多卡推理负载均衡…

案例实战PyTorch

基于TensorRT的拓扑感知部署

案例实战TensorRT

大规模语言模型推理的负载均衡

案例实战大规模语言模型推…

常见问题与调优

显存不足 · 通信瓶颈 · CPU瓶颈

常见问题调优

设计一个高吞吐 · 低延迟的多卡推理系统

综合提升设计一个高吞吐

关键要点回顾 · 最佳实践 · 未来趋势

课程总结关键要点回顾

相关论文 · 开源项目 · 社区资源

扩展阅读相关论文

分析现有系统负载不均并优化

实践作业分析现有系统负载…

实现一个简单的拓扑感知调度器

实践作业实现一个简单的拓…

使用NCCL优化多卡通信

实践作业NCCL

对比不同负载均衡策略的性能

实践作业对比不同负载均衡…

部署一个多卡推理服务并压测

实践作业部署一个多卡推理…

调优TensorRT推理引擎

实践作业TensorRT

处理动态请求负载

实践作业处理动态请求负载

多卡推理的故障恢复

实践作业多卡推理的故障恢…

多卡推理的能耗优化

实践作业多卡推理的能耗优…

多卡推理的容器化部署

实践作业多卡推理的容器化…

多卡推理的监控与告警

实践作业多卡推理的监控

构建一个生产级多卡推理平台

综合项目构建一个生产级多…