VIP20

本课程属于：001-大模型推理部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

推理加速技术实战手册

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

推理加速概述

为什么需要推理加速？核心挑战：延迟、吞吐量、成本，以及性能权衡全景。

延迟吞吐量成本

GPU架构（CUDA核心、Tensor Core、显存带宽）、CPU推理、NPU/TPU简介。

GPUTensor CoreNPU

模型量化基础

FP32/FP16/INT8/INT4精度对比，对称与非对称量化原理，精度与性能平衡。

INT8量化精度

PTQ（训练后量化）

Calibration数据集选择、MinMax与KL散度校准方法，实际部署踩坑与修复。

校准KL散度部署

QAT（量化感知训练）

模拟量化、伪量化节点、QAT微调策略，与PTQ的对比及适用场景。

伪量化微调对比

结构化剪枝（Channel/Filter）、非结构化剪枝（权重剪枝），剪枝后微调策略。

结构化非结构化微调

Teacher-Student架构、软标签与硬标签、温度系数、蒸馏损失函数设计。

蒸馏温度损失

Conv+BN融合、Conv+ReLU融合、LayerNorm融合、Multi-Head Attention融合。

融合ConvAttention

KV Cache原理、PagedAttention、显存碎片管理、内存复用策略。

KV CachePagedAttention显存

连续批处理 (Continuous Batching)

动态批处理、Inflight Batching、VLLM实现原理与吞吐量提升。

动态批处理VLLM吞吐

推理引擎介绍

TensorRT、ONNX Runtime、OpenVINO、Triton Inference Server对比与选型。

TensorRTONNXTriton

模型导出（ONNX→TensorRT）、动态shape配置、INT8量化实战与调优。

INT8动态shape导出

ONNX Runtime实战

ONNX模型导出、优化级别、Execution Provider（CUDA、TensorRT）配置。

PagedAttention配置、KV Cache管理、吞吐量调优、与HuggingFace集成。

PagedAttentionKV Cache吞吐

FlashAttention原理

分块计算、重计算、IO感知的注意力机制，对长序列的优化效果。

分块IO感知长序列

Speculative Decoding

投机采样、草稿模型、验证机制、加速比分析与实际收益。

投机采样草稿模型加速

张量并行 (Tensor Parallelism)、流水线并行 (Pipeline Parallelism)、序列并行。

张量并行流水线序列并行

服务化部署

FastAPI + Triton、gRPC协议、负载均衡、自动扩缩容实践。

FastAPIgRPC扩缩容

性能Profiling工具

Nsight Systems、PyTorch Profiler、TensorBoard Profiling、火焰图分析。

NsightProfiler火焰图

推理延迟优化

首Token延迟 (TTFT) 优化、Token间延迟 (TPOT) 优化、预填充与解码分离。

TTFTTPOT预填充

吞吐量优化

最大并发数、Batch Size调优、GPU利用率监控、CPU-GPU异步传输。

并发Batch异步

模型编译优化

TorchScript、TorchDynamo、XLA编译、AOT编译原理与实战。

TorchScriptXLAAOT

稀疏化推理

结构化稀疏、N:M稀疏、稀疏矩阵乘法优化、硬件支持与加速。

N:M稀疏结构化硬件

SVD分解、CP分解、Tucker分解，在Transformer中的压缩应用。

SVDTucker压缩

多模态模型加速

视觉编码器加速、跨模态对齐优化、LLaVA/CLIP部署经验。

多模态CLIPLLaVA

大模型推理框架

DeepSpeed Inference、FasterTransformer、TensorRT-LLM架构解析。

DeepSpeedFasterTransformerTensorRT-LLM

边缘端推理加速

TFLite、NCNN、MNN、CoreML，端侧量化与剪枝实战。

TFLiteNCNNCoreML

推理成本优化

Spot实例使用、模型缓存、请求合并、降级策略与成本控制。

Spot缓存降级

端到端案例实战

从HuggingFace模型到生产级推理服务：量化+剪枝+TensorRT+VLLM。

端到端生产VLLM

MoE推理加速、推测解码新范式、硬件协同设计、推理加速未来方向。

MoE推测解码硬件协同

专注课程资料整理