第1章
Batch推理概述
什么是Batch推理 · 与单样本推理的区别 · 核心优势：吞吐量提升、资源利用率优化
吞吐量资源优化
第2章
Batch推理的数学原理
矩阵运算与向量化 · 数据并行与模型并行 · Batch Size对计算效率的影响
向量化并行
第3章
Batch推理的工程实现
数据加载与预处理(DataLoader) · 模型前向传播Batch处理 · 解Batch与后处理
DataLoader前向传播
第4章
Batch推理的显存管理
显存占用分析 · Batch Size与显存关系 · 梯度累积与显存优化
显存梯度累积
第5章
Batch推理的调度策略
静态Batch与动态Batch · Continuous Batching · PagedAttention与vLLM调度
动态调度vLLM
第6章
Batch推理的精度问题
FP32/FP16/INT8影响 · 混合精度训练推理 · QAT与PTQ量化
量化混合精度
第7章
Batch推理的分布式实现
数据并行 · 模型并行 · 流水线并行 · 张量并行
分布式并行策略
第8章
Batch推理的异步处理
异步推理框架 · 生产者-消费者模式 · 回调与Future模式
异步回调
第9章
Batch推理的负载均衡
请求排队与优先级 · 动态Batch Size · 基于负载的弹性伸缩
负载均衡弹性伸缩
第10章
Batch推理的缓存机制
KV Cache原理 · Prefix Cache与Radix Attention · 共享Prompt优化
KV CachePrefix
第11章
Batch推理的通信优化
AllReduce与Ring AllReduce · NCCL与Gloo · 通信计算重叠
NCCLAllReduce
第12章
Batch推理的编译器优化
XLA/TVM Batch编译 · 算子融合 · 内存布局NHWC vs NCHW
XLA算子融合
第13章
Batch推理的硬件适配
GPU (NVIDIA/AMD) · TPU特性 · NPU与专用芯片Batch处理
GPUTPUNPU
第14章
框架实现·PyTorch
DataLoader详解 · DataParallel/DDP · torch.compile与jit
PyTorchDDP
第15章
框架实现·TensorFlow
tf.data API · tf.distribute.Strategy · TF Serving Batch配置
TensorFlowServing
第16章
框架实现·ONNX Runtime
Session配置 · IO Binding与内存优化 · Execution Provider
ONNXIO Binding
第17章
框架实现·TensorRT
Builder配置 · Dynamic Shape与Explicit Batch · INT8校准量化
TensorRTINT8
第18章
框架实现·vLLM
架构设计 · PagedAttention与KV Cache · 调度策略
vLLMPagedAttention
第19章
框架实现·TGI
Text Generation Inference · 动态Batch与Continuous Batching · 性能调优
TGIContinuous Batching
第20章
框架实现·DeepSpeed
DeepSpeed Inference · ZeRO-Inference · Kernel Injection优化
DeepSpeedZeRO
第21章
Batch推理的基准测试
性能指标(吞吐量/延迟/QPS) · 测试工具(perf_benchmark/llmperf) · 场景设计
基准测试QPS
第22章
Profiling与调优
Nsight Systems/Compute · PyTorch Profiler · 性能瓶颈分析
ProfilingNsight
第23章
常见问题与解决方案
OOM · 显存碎片化 · 请求超时与重试策略
OOM容错
第24章
Batch推理的模型服务化
Triton Batch配置 · Kubernetes部署 · HPA/VPA自动扩缩容
TritonK8s
第25章
Batch推理的流式处理
SSE与WebSocket · 流式Batch推理 · Token流式与Batch兼容
流式SSE
第26章
Batch推理的混合部署
CPU+GPU混合 · 边缘与云端协同 · 异构计算Batch策略
混合部署异构
第27章
Batch推理的成本优化
Spot实例 · Batch Size与成本 · 模型压缩蒸馏影响
成本Spot
第28章
安全与可靠性
请求隔离与资源限制 · 故障恢复 · 审计与日志
安全容错
第29章
Batch推理的未来趋势
Speculative Decoding · MoE模型Batch处理 · 多模态Batch推理
未来MoE
第30章
综合实战
从零搭建Batch推理服务 · 端到端调优案例 · 生产最佳实践
实战最佳实践