第1章
TensorCore入门
什么是TensorCore · 发展历史 · 与传统CUDA Core区别 · 应用场景
概念基础
第2章
TensorCore硬件架构
Volta/Turing/Ampere设计 · 矩阵乘法累加 · 混合精度基础
架构原理
第3章
TensorCore编程模型
CUDA编程回顾 · WMMA API · cuBLAS调用TensorCore
编程API
第4章
TensorCore核心概念
FP16/BF16/TF32/INT8 · 矩阵分块 · Warp级矩阵运算
精度Tile
第5章
TensorCore实战
WMMA矩阵乘法 · cuBLAS混合精度训练 · 性能调优
实战调优
第6章
TensorCore高级技巧
异步拷贝与流水线 · 2:4稀疏 · TMA使用
进阶稀疏
第7章
深度学习中的应用
Im2Col+GEMM · Attention优化 · LayerNorm/Softmax加速
DLTransformer
第8章
TensorCore性能优化
内存访问模式 · Occupancy · 指令级并行与延迟隐藏
优化吞吐
第9章
TensorCore与PyTorch
AMP原理 · torch.cuda.amp · 自定义CUDA扩展
PyTorchAMP
第10章
TensorCore与TensorFlow
混合精度策略 · XLA编译 · 自定义Op集成
TensorFlowXLA
第11章
TensorCore底层编程
PTX入门 · mma.sync详解 · ldmatrix/stmatrix
PTX底层
第12章
调试与Profiling
Nsight Compute · 利用率分析 · 性能瓶颈定位
调试Nsight
第13章
推荐系统中的应用
DLRM优化 · Embedding+TensorCore · 大规模稀疏训练
推荐稀疏
第14章
计算机视觉中的应用
ResNet/EfficientNet · YOLO推理 · GAN/Diffusion优化
CV检测
第15章
自然语言处理中的应用
BERT/GPT训练 · FlashAttention · 长序列优化
NLPAttention
第16章
科学计算中的应用
HPC矩阵运算 · 量子化学 · 流体力学模拟
HPC模拟
第17章
分布式训练
数据/模型并行 · NCCL · Megatron/DeepSpeed
分布式NCCL
第18章
推理优化
TensorRT · INT8量化 · 动态形状推理
推理TensorRT
第19章
图神经网络
GCN/GAT加速 · 稀疏矩阵结合 · PyG支持
GNN稀疏
第20章
强化学习
PPO/DQN训练 · 环境模拟矩阵运算 · 大规模并行
RL并行
第21章
多模态模型
CLIP/BLIP优化 · 视觉-语言 · 多模态融合矩阵
多模态CLIP
第22章
生成式AI
LLM训练推理 · Diffusion加速 · Prompt计算优化
生成式LLM
第23章
边缘计算
Jetson平台 · 边缘推理 · 功耗与性能平衡
边缘Jetson
第24章
FPGA/ASIC对比
矩阵运算能力对比 · 编程难度 · 场景选择
对比硬件
第25章
CUDA Graph
CUDA Graph原理 · 构建计算图 · 图捕获与重放
Graph优化
第26章
CUTLASS
CUTLASS介绍 · 高效矩阵乘法 · 自定义Epilogue
CUTLASS库
第27章
Triton
OpenAI Triton入门 · 编写TensorCore内核 · 与CUDA对比
TritonDSL
第28章
CUDA Dynamic Parallelism
动态并行原理 · 子核TensorCore · 递归优化
动态并行递归
第29章
多GPU通信优化
NVLink/NVSwitch · AllReduce/AllGather · 计算通信重叠
多GPU通信
第30章
综合实战项目
混合精度训练框架 · 端到端调优 · 生产部署
项目实战