VIP20
本课程属于：001-大模型推理部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型推理全流程集训

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
大模型推理全景
从训练到部署的最后一公里，推理流程概览，推理与训练的区别，延迟、吞吐与成本挑战。
概览延迟吞吐
02
Transformer架构精讲
Attention机制详解：Self-Attention, Multi-Head Attention；FFN, LayerNorm, Positional Encoding, Decoder与Encoder-Decoder架构。
AttentionTransformer
03
推理核心组件
Tokenization (BPE, WordPiece, SentencePiece), Embedding层, Softmax与Top-p/Top-k采样, KV Cache机制。
TokenizationKV Cache
04
模型加载与初始化
PyTorch模型加载 (state_dict, torch.load), Hugging Face from_pretrained, 模型并行基础, 设备映射CPU/GPU。
加载并行
05
推理引擎入门
Hugging Face Generate API详解 (model.generate), 参数配置 (max_new_tokens, temperature, do_sample), 性能瓶颈分析。
GenerateAPI
06
ONNX Runtime推理
模型导出为ONNX (torch.onnx.export), ONNX Runtime安装配置, 图优化, 动态形状与静态形状处理。
ONNX图优化
07
TensorRT推理
TensorRT核心概念 (Engine, Builder, Network), 模型导出 (trtexec, torch2trt), FP16/INT8量化, 动态形状配置。
TensorRT量化
08
vLLM推理框架
vLLM核心原理 (PagedAttention), 安装与部署, API Server (OpenAI兼容接口), 性能调优 (max_num_seqs, gpu_memory_utilization)。
vLLMPagedAttention
09
推理加速技术（上）
Flash Attention原理与实现, Continuous Batching, Speculative Decoding, Streaming LLM。
Flash AttentionContinuous Batching
10
推理加速技术（下）
KV Cache量化 (INT8/FP8), MQA与GQA, Prefix Caching, Sparse Attention。
KV CacheMQAGQA
11
量化技术（上）
量化基础 (对称/非对称, Calibration), PTQ实战, GPTQ算法原理与实现。
PTQGPTQ
12
量化技术（下）
AWQ算法, SmoothQuant, LLM.int8()与FP8推理, 量化对模型质量的影响评估。
AWQSmoothQuant
13
模型剪枝与蒸馏
结构化/非结构化剪枝, 知识蒸馏 (Logit-based, Feature-based), DistilBERT与TinyLLaMA案例, 工程实践。
剪枝蒸馏
14
分布式推理（上）
张量并行, 流水线并行, Megatron-LM框架, 序列并行。
张量并行流水线并行
15
分布式推理（下）
DeepSpeed Inference, FasterTransformer, Ray Serve部署, 多机多卡推理实践。
DeepSpeedRay Serve
16
推理服务化（上）
FastAPI搭建推理API, 请求批处理 (Dynamic Batching), 并发控制 (asyncio, 线程池), 健康检查与监控。
FastAPIBatching
17
推理服务化（下）
Triton Inference Server部署, 模型仓库管理, Ensemble与Batching策略, Prometheus+Grafana监控。
TritonPrometheus
18
Prompt Engineering
Prompt设计原则 (清晰、具体、角色设定), Few-shot与Chain-of-Thought, 结构化Prompt, 注入防护。
PromptCoT
19
RAG（检索增强生成）
RAG架构 (Indexing, Retrieval, Generation), 向量数据库 (Chroma, FAISS, Milvus), Embedding模型, Chunking策略。
RAG向量数据库
20
RAG进阶
HyDE, Self-RAG, CRAG, RAPTOR递归摘要树, RAGAS评估框架。
HyDESelf-RAGRAPTOR
21
Agent与工具调用
Function Calling原理, ReAct模式 (Reasoning+Acting), LangChain Agent实战, 工具定义与注册。
AgentFunction Calling
22
多模态推理（上）
视觉语言模型 (VLM) 推理流程 (LLaVA, Qwen-VL), 图像编码 (CLIP, SigLIP), 视觉Token与文本Token融合。
VLMCLIP
23
多模态推理（下）
音频/视频理解模型推理 (Whisper, Qwen-Audio), 工程挑战 (内存、延迟), 流式多模态推理。
Whisper流式
24
推理成本优化
Token成本计算, 缓存策略 (KV Cache, Response Cache), 模型复用与共享, Spot实例与弹性伸缩。
成本缓存
25
推理安全与对齐
内容安全过滤 (关键词、分类器), RLHF推理阶段影响, 红队测试, 输出一致性校验。
安全RLHF
26
推理监控与可观测性
日志收集 (Token级、请求级), 延迟与吞吐指标, 模型漂移检测 (Data/Concept Drift), 告警规则设置。
监控漂移检测
27
边缘端推理
模型压缩 (TFLite, CoreML), ONNX Runtime Mobile, Qualcomm SNPE与Apple ANE, Llama.cpp, MLX案例。
边缘端TFLiteLlama.cpp
28
推理框架对比与选型
vLLM vs TensorRT-LLM vs TGI vs SGLang, 性能基准 (Latency, Throughput, TTFT, TPOT), 选型决策树。
对比选型
29
端到端推理项目实战（上）
需求分析, 模型选型 (7B/13B/70B), 推理框架选型, 架构设计 (API Gateway, Load Balancer)。
实战架构
30
端到端推理项目实战（下）
部署实施, 压力测试 (Locust, wrk), 性能调优 (OOM处理, 超时设置), 上线与运维 (CI/CD, 回滚策略)。
部署CI/CD