首页
›
实战100例
›
016-大模型部署与推理优化实战
›
《GPU大模型推理原理与优化实战100例》
VIP15
本课程属于:016-大模型部署与推理优化实战
实战100例 · 共 15 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
《GPU大模型推理原理与优化实战100例》
共 100 例
01
理解GPU内存层次与带宽
02
矩阵乘法基础实现
03
使用共享内存优化矩阵乘法
04
使用寄存器优化矩阵乘法
05
向量化内存访问优化
06
避免银行冲突
07
使用CUDA流实现并发
08
使用统一内存简化数据管理
09
使用cuBLAS进行矩阵乘法
10
使用cuDNN进行卷积
11
使用Tensor Core进行矩阵乘法
12
使用CUTLASS实现GEMM
13
使用NCCL进行多GPU通信
14
使用CUDA Graphs优化启动开销
15
使用持久化内核减少启动开销
16
使用CUDA事件进行性能计时
17
使用NVIDIA Nsight Compute分析内核
18
使用NVIDIA Nsight Systems分析应用
19
使用nvprof分析CUDA应用
20
使用CUDA Occupancy Calculator
21
使用CUDA动态并行
22
使用CUDA纹理内存
23
使用CUDA常量内存
24
使用CUDA只读缓存
25
使用CUDA原子操作
26
使用CUDA归约算法优化
27
使用CUDA扫描算法
28
使用CUDA流压缩
29
使用CUDA排序算法
30
使用CUDA稀疏矩阵存储
31
使用cuSPARSE库进行稀疏运算
32
使用cuFFT进行快速傅里叶变换
33
使用Thrust库进行并行算法
34
使用CUDA实现Softmax
35
使用CUDA实现LayerNorm
36
使用CUDA实现RMSNorm
37
使用CUDA实现GELU激活
38
使用CUDA实现SiLU激活
39
使用CUDA实现注意力机制
40
使用FlashAttention优化注意力
41
使用FlashAttention-2优化注意力
42
使用PagedAttention管理KV缓存
43
使用vLLM进行推理
44
使用TensorRT进行推理优化
45
使用ONNX Runtime进行推理
46
使用PyTorch的torch.compile优化
47
使用量化减少模型大小
48
使用进行量化
49
使用AWQ进行量化
50
使用FP16混合精度推理
51
使用BF16混合精度推理
52
使用TensorRT的FP8推理
53
使用内核融合优化
54
使用算子融合库如TorchScript
55
使用CUDA图优化Transformer推理
56
使用多流并行处理多个请求
57
使用批处理提高吞吐量
58
使用动态批处理
59
使用连续批处理
60
使用投机解码加速生成
61
使用并行解码加速生成
62
使用KV缓存优化自回归推理
63
使用KV缓存量化
64
使用KV缓存淘汰策略
65
使用前缀缓存
66
使用多GPU张量并行
67
使用多GPU流水线并行
68
使用多GPU数据并行
69
使用DeepSpeed推理
70
使用Accelerate进行多GPU推理
71
使用Ray实现分布式推理
72
使用gRPC实现推理服务
73
使用REST API部署推理服务
74
使用Triton Inference Server
75
使用TensorRT-LLM进行推理
76
使用llama.cpp进行CPU推理
77
使用llama.cpp进行GPU推理
78
使用GGUF格式量化模型
79
使用ONNX Runtime的TensorRT执行提供程序
80
使用OpenVINO进行推理
81
使用TVM进行自动调优
82
使用CUDA内核自动调优
83
使用cuDNN的自动调优
84
使用TensorRT的层融合
85
使用TensorRT的精度校准
86
使用TensorRT的动态形状
87
使用TensorRT的上下文优化
88
使用CUDA的L2缓存优化
89
使用CUDA的访问策略窗口
90
使用CUDA的持久化L2缓存
91
使用CUDA的异步数据拷贝
92
使用CUDA的零拷贝内存
93
使用CUDA的固定内存
94
使用CUDA的NVLink优化
95
使用CUDA的GPUDirect RDMA
96
使用CUDA的MPS优化并发
97
使用CUDA的MIG实例
98
使用CUDA的VMM管理显存
99
使用CUDA的显存池
100
使用CUDA的显存复用
所属VIP或分类
同VIP:DeepSpeed-ZeRO训练优化实战100例
同VIP:DeepSpeed大模型训练优化库实战100例
同VIP:FlashAttention推理优化实战100例