01
AI芯片概述
定义、分类（GPU/FPGA/ASIC/NPU）、发展历程与市场格局
基础全景
02
推理与训练的区别
硬件需求差异、精度要求、延迟与吞吐量权衡
核心概念
03
计算核心架构
SIMT与SIMD、脉动阵列、数据流架构
架构硬件
04
存储层次与带宽
片上存储、HBM与GDDR、带宽计算与瓶颈分析
存储性能
05
算子优化基础
矩阵乘法优化、卷积算子优化（Im2Col/Winograd）、算子融合
算子优化
06
量化技术
FP32/FP16/INT8/INT4量化原理、对称与非对称、量化感知训练
量化压缩
07
模型剪枝
结构化与非结构化剪枝、剪枝策略与硬件友好性
剪枝稀疏
08
知识蒸馏
蒸馏原理、软标签与硬标签、蒸馏在推理加速中的应用
蒸馏加速
09
编译器前端
计算图优化（常量折叠、死代码消除）、算子选择与调度
编译器图优化
10
编译器后端
内存分配与复用、循环优化（Tiling/Unrolling）、指令调度
后端代码生成
11
TVM与Triton
Relay IR与AutoTVM、Triton语言与块级编程
框架编译
12
内存带宽优化
数据复用、DMA与双缓冲、内存合并访问
带宽优化
13
并行计算策略
数据并行、模型并行、流水线并行、张量并行
并行分布式
14
算子融合实战
Conv+BN+ReLU融合、LayerNorm融合、Multi-Head Attention融合
融合实战
15
稀疏计算
稀疏矩阵格式（CSR/CSC/COO）、稀疏卷积与稀疏Transformer
稀疏计算
16
硬件加速单元
Tensor Core、NPU的MAC阵列、脉动阵列的优缺点
硬件加速
17
推理引擎
TensorRT、OpenVINO、ONNX Runtime、TFLite架构与优化
引擎部署
18
动态形状处理
动态batch、可变序列长度、Padding优化与Cubin重编译
动态形状
19
模型部署流程
ONNX导出、精度校准、INT8量化校准、性能Profiling
部署流程
20
性能分析工具
NVIDIA Nsight、Intel VTune、Perfetto、自定义Profiler
工具调优
21
Batch推理优化
动态Batching、Continuous Batching、Inflight Batching
Batching吞吐
22
KV Cache优化
PagedAttention、KV Cache量化、Prefix Caching
LLM缓存
23
Speculative Decoding
投机解码原理、Draft模型选择、验证策略
解码加速
24
多模态模型推理
视觉模型优化、文本+图像融合推理、跨模态注意力优化
多模态视觉
25
边缘端推理
模型压缩（MobileNet/ShuffleNet）、TFLite Micro、NCNN
边缘轻量化
26
数据中心推理
集群调度、负载均衡、冷启动优化、GPU虚拟化
数据中心集群
27
异构计算
CPU+GPU+NPU协同、任务划分与调度、内存统一寻址
异构协同
28
最新架构趋势
Chiplet技术、存算一体、光计算、量子计算与AI
前沿架构
29
端到端案例
LLM推理优化（从模型到部署）、Stable Diffusion推理优化
案例实战
30
未来展望
AI芯片三大挑战（功耗墙、内存墙、摩尔定律放缓）与应对策略
趋势挑战