01
显存基础与瓶颈分析
显存架构、带宽与容量、显存溢出原因、性能分析工具使用
基础诊断
02
模型量化技术
FP16/BF16混合精度、INT8量化原理、量化感知训练、动态与静态量化
量化压缩
03
梯度累积与微批次
梯度累积原理、微批次大小选择、同步与异步梯度更新、内存与速度权衡
训练微批次
04
激活值压缩与重计算
激活值存储开销、Checkpointing策略、选择性重计算、内存与计算权衡
重计算激活
05
模型并行与分布式部署
数据并行、模型并行、流水线并行、张量并行、混合并行策略
分布式并行
06
内存碎片整理与池化
CUDA内存分配器、内存碎片产生原因、缓存池设计、预分配策略
内存池化
07
CPU Offloading技术
CPU内存作为扩展、层级别Offloading、Tensor级别Offloading、异步传输优化
Offload异构
08
序列长度优化
稀疏注意力机制、FlashAttention原理、KV Cache优化、窗口注意力与滑动窗口
注意力序列
09
模型剪枝与蒸馏
结构化剪枝、非结构化剪枝、知识蒸馏原理、蒸馏在部署中的应用
剪枝蒸馏
10
动态形状与自适应批处理
动态批处理、形状自适应推理、内存动态分配、请求调度优化
动态批处理
11
算子融合与内核优化
Fused Kernel原理、LayerNorm融合、Attention融合、自定义CUDA Kernel
算子CUDA
12
内存复用与共享内存
Tensor复用策略、共享内存使用、零拷贝技术、内存生命周期管理
复用共享
13
推理引擎与编译器优化
TensorRT优化、ONNX Runtime优化、TVM与XLA、图优化与内存规划
编译器推理
14
显存监控与告警
nvidia-smi深度使用、PyTorch内存分析器、自定义监控脚本、告警阈值设置
监控运维
15
容器化与资源隔离
Docker显存限制、Kubernetes GPU调度、MIG技术、显存QoS保障
容器K8s
16
多任务与多模型部署
模型热加载与卸载、显存共享池、优先级调度、模型版本管理
多模型调度
17
边缘设备显存优化
移动端GPU特性、TFLite与NNAPI、模型压缩、片上内存利用
边缘移动端
18
大语言模型(LLM)部署优化
LLM显存模型、KV Cache优化、PagedAttention、连续批处理
LLMKV
19
多模态模型部署优化
视觉模型显存优化、多模态融合内存管理、特征缓存策略
多模态视觉
20
生成式AI模型优化
扩散模型显存优化、自回归生成优化、缓存与预计算策略
生成式扩散
21
混合精度训练与推理
AMP原理、Loss Scaling、梯度缩放、硬件支持与兼容性
混合精度AMP
22
内存交换与虚拟显存
CUDA Unified Memory、内存交换策略、性能影响分析、适用场景
虚拟显存交换
23
模型分片与分布式推理
模型分片策略、跨节点推理、通信优化、负载均衡
分片分布式
24
缓存策略与预取技术
数据缓存、模型权重缓存、特征缓存、预取与预加载
缓存预取
25
低秩分解与矩阵近似
SVD分解、低秩近似、矩阵分解在部署中的应用、精度与性能权衡
低秩近似
26
稀疏化推理
稀疏矩阵存储格式、稀疏矩阵乘法、硬件稀疏支持、稀疏训练与推理
稀疏加速
27
内存安全与错误处理
OOM异常处理、优雅降级、内存泄漏检测、自动恢复机制
安全容错
28
性能基准测试与调优
基准测试方法论、Profiling工具、瓶颈定位、迭代优化流程
基准调优
29
成本与性能权衡分析
TCO分析、显存成本模型、性能指标、决策框架
成本决策
30
未来趋势与前沿技术
CXL与内存池化、存算一体、新型存储技术、AI芯片发展趋势
前沿趋势