VIP6

本课程属于：003-大模型推理服务工程 AI智能与边缘计算工程 · 共 6 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

大模型推理引擎实战入门

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

推理引擎概述

什么是大模型推理引擎、推理引擎的定位与价值、主流推理引擎介绍（vLLM、TGI、TensorRT-LLM）。

GPU服务器选型建议、CUDA与cuDNN环境配置、Docker镜像搭建、Python虚拟环境管理。

模型格式与转换

PyTorch模型格式、HuggingFace模型仓库、ONNX导出、TensorRT模型转换、GGUF格式介绍。

vLLM快速入门

vLLM架构概览、PagedAttention原理、安装与启动、兼容API调用。

vLLM核心配置

模型加载参数、KV Cache配置、调度策略、量化配置（AWQ/）。

vLLM性能调优

吞吐量优化、延迟优化、批处理策略、动态batching机制。

vLLM生产部署

多GPU部署、分布式推理、高可用架构、监控与日志。

TensorRT-LLM入门

TensorRT-LLM架构、模型构建流程、Plugin机制、编译优化。

TensorRT-LLM模型构建

权重绑定、网络定义、序列化与反序列化、运行时推理。

TensorRT-LLM量化

FP8量化、INT4/INT8量化、SmoothQuant技术、量化效果评估。

TensorRT-LLM部署

C++运行时、Python绑定、Triton Inference Server集成。

HuggingFace TGI

TGI架构、Text Generation Inference原理、Rust与Python混合编程。

TGI部署实战

模型加载、连续批处理、流式输出、自定义模型支持。

推理引擎对比

vLLM vs TGI vs TensorRT-LLM、性能基准测试、场景选型建议。

连续批处理

Continuous Batching原理、Inflight Batching、调度算法对比。

批处理调度

KV Cache原理、内存管理、共享前缀、Prefix Caching技术。

Speculative Decoding原理、Draft模型训练、验证策略、加速效果。

模型并行策略

张量并行、流水线并行、序列并行、混合并行方案。

并行分布式

Attention优化

FlashAttention原理、FlashAttention-2、PageAttention、Multi-Query Attention。

Attention优化

量化技术深入

权重量化、激活量化、KV Cache量化、动态量化、静态量化。

推理精度管理

FP16/BF16/FP8精度对比、混合精度推理、精度损失评估。

精度混合精度

服务化架构

RESTful API设计、gRPC接口、WebSocket流式输出、请求排队。

请求路由、动态扩缩容、健康检查、熔断机制。

负载均衡高可用

监控与可观测性

Prometheus指标、Grafana面板、日志收集、链路追踪。

监控可观测

安全与鉴权

管理、请求限流、模型安全、输入过滤。

多模态模型推理

LLaVA、Qwen-VL架构、视觉编码器集成、多模态推理优化。

多模态视觉

MoE模型推理

Mixture of Experts架构、专家路由、负载均衡、显存优化。

长上下文推理

RoPE扩展、位置编码优化、窗口注意力、上下文压缩。

长上下文位置编码

边缘端推理

llama.cpp、Ollama、MLC-LLM、移动端部署方案。

边缘移动端

综合实战项目

从零搭建生产级推理服务、性能压测、问题排查、最佳实践总结。