第1章
张量加速核概述
什么是Tensor Core · 为什么需要 · 发展历史与现状
概念背景
第2章
矩阵乘法基础
数学定义 · 深度学习核心地位 · CPU/GPU瓶颈
数学基础
第3章
硬件架构概览
GPU/TPU/NPU位置 · Systolic Array · 存储层次
硬件架构
第4章
数据复用策略
输入/权重/输出复用 · 混合复用详解
优化复用
第5章
Warp级矩阵运算
Warp概念 · WMMA API · Tiling分块策略
CUDAWarp
第6章
精度与数值格式
FP16/BF16/TF32/INT8 · 混合精度 · 收敛影响
精度训练
第7章
CUDA Core vs Tensor Core
标量运算 · 矩阵运算 · 性能对比与场景
对比NVIDIA
第8章
cuBLAS与cuTLASS库
cuBLAS调用 · cuTLASS模板 · 自定义内核
库编程
第9章
NVIDIA Tensor Core编程
CUDA C++ · mma.sync · fragment数据类型
CUDA指令
第10章
Google TPU脉动阵列
TPU v1/v2/v3 · Systolic Array · CISC指令集
TPU脉动
第11章
AMD Matrix Core
CDNA架构 · Matrix Core指令 · ROCm编程
AMDROCm
第12章
Intel AMX (Advanced Matrix Extensions)
Tile架构 · TDPBSSD/TDPBF16PS · Sapphire Rapids
IntelAMX
第13章
Apple ANE (Apple Neural Engine)
ANE硬件 · Core ML接口 · GPU协同
AppleANE
第14章
华为昇腾 (Ascend) 达芬奇架构
3D Cube · AI Core · CANN算子开发
昇腾达芬奇
第15章
寒武纪MLU架构
MLU硬件 · Neuware SDK · 张量加速实现
寒武纪MLU
第16章
深度学习编译器与张量加速
TVM/XLA/Glow · 自动生成Tensor Core · 算子融合
编译器融合
第17章
稀疏张量加速
SpMM · N:M Sparsity · 稀疏Tensor Core
稀疏Ampere
第18章
张量内存访问优化
Memory Coalescing · Bank Conflict · Shared Memory Padding
内存优化
第19章
流水线与并行
指令流水线 · 软件流水线 · 多流并发
流水线并行
第20章
Profiling与性能调优
Nsight Systems/Compute · Roofline · 瓶颈定位
调优Profiling
第21章
Transformer中的张量加速
Multi-Head Attention优化 · FlashAttention · KV Cache
Transformer注意力
第22章
卷积运算的张量化
Im2Col+GEMM · Winograd · 直接卷积Tensor Core
卷积加速
第23章
推荐系统中的张量加速
Embedding优化 · DNN加速 · 稀疏特征处理
推荐稀疏
第24章
图神经网络 (GNN) 加速
稀疏-稠密混合 · 消息传递矩阵化 · 专用加速器
GNN图
第25章
量化感知训练 (QAT)
QAT原理 · Fake Quantize · Tensor Core适配
量化QAT
第26章
FP8与下一代精度
E4M3/E5M2 · 训练推理应用 · FP4/二进制趋势
FP8未来
第27章
Chiplet与互联
多Die互联 · NVLink/NVSwitch · CXL协议
Chiplet互联
第28章
近存计算与存内计算
Near-Memory · In-Memory · 张量加速影响
近存存内
第29章
光计算与量子计算
光计算原理 · 光学张量核 · 量子潜在颠覆
光计算量子
第30章
未来展望与总结
技术趋势 · 软件生态 · 对AI深远影响
展望总结