01
AI芯片推理瓶颈全景图
从冯诺依曼瓶颈到存算一体，访存墙·计算墙·功耗墙，主流突破方向
全景瓶颈
02
计算架构深度解析
SIMT vs SIMD vs 脉动阵列，矩阵乘法适配性与推理延迟分析
架构SIMD
03
数据流与内存层次优化
寄存器到HBM，数据搬移代价，权重/输入/输出固定复用
数据流复用
04
量化技术实战
INT8/INT4量化，对称/非对称，QAT与PTQ，精度延迟权衡
量化INT8
05
稀疏化与剪枝
结构化/非结构化剪枝，N:M稀疏，矩阵乘法加速与硬件支持
剪枝稀疏
06
算子融合与图优化
Conv+BN+ReLU融合，in-place，常量折叠，TVM/XLA自动调优
融合编译器
07
内存带宽与访存优化
DDR/HBM带宽利用率，预取，双缓冲，Bank冲突，数据布局
带宽HBM
08
并行计算策略
数据并行、模型并行、流水线并行、张量并行，大模型组合策略
并行分布式
09
Attention机制加速
FlashAttention，分块计算，Online Softmax，KV Cache优化
AttentionFlash
10
Transformer推理优化
LayerNorm融合，GELU近似，位置编码，Decoder-only特性
Transformer推理
11
动态形状与动态批处理
动态形状挑战，Dynamic Batching，Continuous Batching
动态批处理
12
模型部署与推理引擎
TensorRT, ONNX Runtime, OpenVINO, Triton 架构与优化对比
部署引擎
13
硬件加速器选型
GPU/NPU/TPU/FPGA，昇腾/寒武纪/Google，推理优劣势分析
硬件选型
14
内存墙突破
近存计算，存内计算，HBM-PIM，CXL互联，缓解内存墙
近存CXL
15
计算墙突破
低精度FP8/FP4，混合精度，对数域计算，随机计算，精度性能权衡
低精度混合精度
16
功耗墙突破
DVFS，时钟门控，电源门控，近似计算，能效最优
功耗DVFS
17
编译器与代码生成
MLIR/Triton/TVM IR，自动调优，张量编译器高效内核
编译器MLIR
18
算子库与微内核优化
cuBLAS/cuDNN/oneDNN，寄存器级优化，ILP，手写微内核
算子库微内核
19
通信优化
AllReduce/AllGather，Ring vs Tree，NVLink/InfiniBand
通信集合通信
20
推理服务架构
请求调度，负载均衡，模型分片，冷启动，高吞吐低延迟设计
服务调度
21
KV Cache管理与优化
内存占用分析，PageAttention，vLLM PagedMemory，显存开销
KV CachevLLM
22
投机解码（Speculative Decoding）
自回归瓶颈，草稿模型，拒绝采样，无损加速大模型推理
投机解码加速
23
模型压缩与蒸馏
知识蒸馏，权重共享，低秩分解SVD/NMF，压缩比与精度平衡
蒸馏压缩
24
硬件感知神经架构搜索(HW-NAS)
延迟/功耗约束，代理模型，进化搜索，硬件友好结构
NAS硬件感知
25
异构计算与任务调度
CPU+GPU+NPU协同，任务图调度，依赖分析，最大化吞吐
异构调度
26
实时推理与延迟优化
延迟分解Prefill/Decode，请求合并，抢占调度，SLA满足
实时延迟
27
多模态模型推理优化
视觉-语言模型，视觉编码器加速，跨模态注意力，内存管理
多模态VLM
28
边缘端推理优化
4bit/2bit量化，知识蒸馏，MobileNet/EfficientNet，功耗约束
边缘轻量化
29
性能分析与Profiling
Nsight/VTune/ROCProfiler，Roofline模型，瓶颈定位与迭代
ProfilingRoofline
30
未来趋势与前沿技术
光子计算，模拟计算，量子计算，存算一体，未来3-5年路线
前沿趋势