VIP20

本课程属于：021-推理性能瓶颈 AI算力与GPU工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

AI芯片推理性能优化全攻略

📚 共计 30 章节

AI芯片推理性能优化全景图

摩尔定律黄昏与AI算力饥渴 · 核心指标(吞吐/延迟/能效) · 算法-架构-电路-系统协同设计

全景方法论

计算核心 (Tensor Core / SIMT) 优化

矩阵乘法/卷积硬件加速 · Warp调度与ILP · 数据复用与寄存器缓存

Tensor CoreSIMT

存储层次 (Memory Hierarchy) 优化

全局/共享/寄存器文件 · Bank Conflict · 数据预取与双缓冲

存储双缓冲

数据流 (Dataflow) 优化

权值/输入/输出固定 · Row Stationary · 脉动阵列映射策略

数据流脉动阵列

算子融合 (Operator Fusion) 优化

Conv-BN-ReLU融合 · Element-wise融合 · TVM/XLA自动融合

融合编译器

量化 (Quantization) 优化

FP32/FP16/INT8/INT4 · 对称/非对称量化 · QAT/PTQ · 混合精度推理

剪枝 (Pruning) 优化

结构化/非结构化剪枝 · N:M稀疏 · Sparse Tensor Core

知识蒸馏 (Knowledge Distillation) 优化

Teacher-Student · 软标签与温度系数 · 推理加速收益

模型结构轻量化优化

深度可分离卷积 · 分组卷积 · ShuffleNet/MobileNet/EfficientNet

轻量化MobileNet

编译器优化 (Compiler Optimization)

TVM/XLA/MLIR/Triton · 图优化与算子调度 · 自动调优与成本模型

内存管理与数据搬运优化

DMA与异步拷贝 · 内存池复用 · Pinned Memory/Stream

并行计算模型优化

数据/模型/流水线并行 · 张量并行 · 序列并行 (大模型)

并行大模型

大模型推理优化 (LLM)

KV Cache · PageAttention · Continuous Batching · 投机解码

注意力机制 (Attention) 优化

FlashAttention · 稀疏/线性注意力 · MQA/GQA

卷积神经网络 (CNN) 推理优化

Im2Col+GEMM · Winograd · FFT卷积 · 深度可分离硬件映射

RNN/LSTM/GRU 推理优化

循环展开 · 门控融合 · 动态序列 · 量化剪枝特殊考量

Transformer推理优化

LayerNorm/Softmax数值稳定 · GELU近似 · RoPE/ALiBi快速实现

Transformer位置编码

硬件特性利用 (Hardware Utilization)

Turing/Ampere/Hopper/Blackwell · WMMA API · CUDA Graph/MPS

边缘端AI芯片推理优化

NPU架构(寒武纪/地平线) · 带宽受限策略 · ONNX/TFLite/NCNN

异构计算 (Heterogeneous) 优化

CPU+GPU+NPU协同 · 任务划分 · Unified Memory · 通信隐藏

推理引擎 (Inference Engine) 优化

TensorRT/ONNX Runtime/OpenVINO · Dynamic Shape · 插件开发

性能分析与Profiling工具

Nsight Systems/Compute · PyTorch Profiler · Roofline Model · 火焰图

ProfilingNsight

批处理 (Batching) 优化

静态/动态Batching · 延迟与吞吐量影响 · 在线服务挑战

延迟优化 (Latency Optimization)

TTFT/TPOT · 模型预热 · JIT/AOT编译 · 低延迟设计模式

吞吐量优化 (Throughput Optimization)

并发请求 · 流水线并行/微批处理 · 调度策略 · Pareto Frontier

能效比优化 (Energy Efficiency)

DVFS · 近阈值计算 · 稀疏/近似计算 · 绿色AI

模型部署与工程化

ONNX/TorchScript · Triton Server · A/B测试 · 监控告警

部署工程化

安全与鲁棒性 (Security & Robustness)

对抗攻击/防御 · 加密推理 · 联邦学习 · 安全飞地

前沿趋势与未来展望

存算一体 · 光计算 · 量子/神经形态计算 · 开源生态

前沿存算一体

综合实战案例

ResNet-50全流程 (量化+剪枝+融合+TensorRT) · LLaMA-7B (KV Cache+FlashAttention+PageAttention+Continuous Batching)

实战ResNetLLaMA