01
TensorCore硬件架构解析
Volta/Turing/Ampere/Hopper · WMMA单元 · FP16/BF16/TF32/INT8/INT4
架构数据类型
02
CUDA编程模型回顾
Grid/Block/Warp · 内存层次 · SM调度 · Warp执行模型
CUDA线程
03
TensorCore编程基础
WMMA API · 矩阵分片 · Tile大小 (16x16x16/8x32x16) · 类型转换
WMMA分片
04
TensorCore矩阵乘法实现
WMMA GEMM · 分块 · Bank Conflict · Shared Memory优化
GEMM优化
05
TensorCore卷积实现
implicit GEMM · Winograd · Direct卷积 · TensorCore加速
卷积加速
06
TensorCore性能分析工具
Nsight Compute · Nsight Systems · CUDA Profiler · 利用率分析
分析工具
07
TensorCore驱动接口
Driver API vs Runtime · cuTensorCoreGetAttr · 驱动层控制
驱动API
08
TensorCore驱动适配策略
多架构兼容 · 版本检测 · 能力查询 · fallback机制
适配兼容
09
TensorCore与cuBLAS集成
cuBLAS调用TensorCore · cuBLASLt · 自定义扩展 · 性能对比
cuBLAS集成
10
TensorCore与cuDNN集成
cuDNN卷积加速 · API配置 · 算法选择 · 混合精度训练
cuDNN混合精度
11
TensorCore与TensorRT集成
INT8/FP16校准 · 层优化 · 动态形状 · 部署最佳实践
TensorRT部署
12
TensorCore混合精度训练
AMP · Loss Scaling · Master Weights · 梯度缩放
AMP训练
13
TensorCore量化技术
PTQ · QAT · INT8/INT4校准 · 对称/非对称量化
量化INT8
14
TensorCore稀疏性支持
2:4结构化稀疏 · Ampere稀疏TensorCore · 稀疏训练/推理
稀疏Ampere
15
TensorCore内存优化
Global合并 · Shared Bank Conflict · Register Pressure · 缓存策略
内存优化
16
TensorCore指令级优化
PTX汇编 · mma.sync.aligned · ldmatrix · warp shuffle
PTX指令
17
TensorCore多流与并发
CUDA Stream · MPS · MIG · 资源隔离
并发MPS
18
TensorCore与NCCL通信
AllReduce加速 · Ring/Tree · NVLink/NVSwitch · 梯度通信
NCCL通信
19
TensorCore在Transformer中的应用
Attention加速 · FFN优化 · LayerNorm融合 · KV Cache
TransformerAttention
20
TensorCore在LLM推理中的应用
Prefill/Decode · Continuous Batching · PageAttention · Speculative Decoding
LLM推理
21
TensorCore在CV模型中的应用
ResNet/EfficientNet · YOLO优化 · 图像分割加速
CVYOLO
22
TensorCore在推荐系统中的应用
DCN/DeepFM · Embedding优化 · 特征交叉计算
推荐Embedding
23
TensorCore驱动调试与排错
错误码解析 · 未启用诊断 · 精度排查 · 性能瓶颈定位
调试排错
24
TensorCore驱动性能调优
Occupancy优化 · 指令级并行 · 带宽利用 · 计算访存重叠
调优Occupancy
25
TensorCore多卡并行策略
Data/Model/Pipeline/Tensor Parallelism
多卡并行
26
TensorCore与PyTorch集成
torch.cuda.amp · torch.tensorcore · 自定义CUDA扩展 · JIT
PyTorchAMP
27
TensorCore与TensorFlow集成
tf.keras.mixed_precision · XLA · 自定义Op · TF-TRT
TensorFlowXLA
28
TensorCore与ONNX Runtime集成
TensorCore EP · 模型转换 · 性能基准测试
ONNXRuntime
29
TensorCore驱动适配案例实战
从零构建加速矩阵乘法库 · 驱动适配全流程 · 调优实战
实战案例
30
TensorCore未来趋势与展望
Blackwell架构 · FP8/FP4 · 光互连 · 量子融合
未来Blackwell