VIP20
本课程属于：030-授信决策引擎高并发评分通道 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

model serving性能调优方法

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
Model Serving概述
Model Serving的定义 · 典型架构（客户端-服务端-模型仓库） · 性能调优的重要性与核心指标（延迟
ModelServing
02
性能基准与监控
性能基准测试方法（压力测试 · 负载生成） · 关键监控指标（QPS
性能基准监控
03
模型优化基础
模型量化（FP16 · INT8 · INT4）
模型优化基础FP16
04
推理引擎选择与配置
主流推理引擎对比（TensorRT · ONNX Runtime · OpenVINO
推理引擎选择配置
05
批处理策略
动态批处理（Dynamic Batc… · 最大批处理大小与延迟的权衡 · 队列策略（FIFO
批处理策略Dynamic
06
并发与请求调度
并发请求处理模型（线程池 · 事件循环） · 请求调度算法（轮询
并发请求调度
07
GPU显存管理
显存分配策略（预分配 · 按需分配） · 显存碎片化问题与解决方案
GPU显存管理
08
CPU与GPU协同
数据预处理与后处理卸载到CPU · 异步数据传输（CUDA Stream… · CPU-GPU流水线并行
CPUGPU
09
模型分片与流水线并行
模型分片策略（按层 · 按算子） · 流水线并行（Pipeline Par…
模型分片流水线并行
10
模型副本与负载均衡
多模型副本部署策略 · 负载均衡算法（轮询 · 最少连接
模型副本负载均衡
11
请求缓存策略
结果缓存（Response Cach… · 缓存淘汰策略（LRU · LFU
请求缓存策略Response
12
网络与I/O优化
gRPC与HTTP/2协议选择 · 连接复用（Keep-Alive） · 数据压缩（gzip
I/O网络
13
容器化与资源限制
Docker资源限制（CPU · 内存 · GPU）
容器化资源限制
14
冷启动与预热
模型加载优化（延迟加载 · 并行加载） · 预热请求（Warm-up Reque…
冷启动预热
15
推理精度与性能权衡
FP32/FP16/INT8精度选择… · 混合精度推理（AMP）实践
推理精度性能权衡
16
算子融合与图优化
算子融合（Kernel Fusion… · 计算图优化（常量折叠 · 死代码消除）
算子融合图优化
17
内存带宽优化
内存访问模式优化（合并访问 · 对齐） · 数据布局转换（NHWC vs NCH…
内存带宽优化内存访问模式优化
18
异步推理与流处理
异步推理接口设计（Future/Pr… · 请求流水线（Request Pipe… · 流式输出（Streaming Out…
异步推理流处理
19
模型版本管理与回滚
模型版本控制策略 · A/B测试部署 · 灰度发布与快速回滚机制
模型版本管理回滚
20
性能瓶颈定位方法
Profiling工具使用（NVID… · PyTorch Profiler · TensorBoard）
性能瓶颈定位方法Profiling
21
分布式推理架构
分布式推理设计模式（参数服务器 · All-Reduce） · 跨节点通信优化（RDMA
分布式推理架构分布式推理设计模…
22
自动调优与超参数搜索
自动批处理大小搜索 · 并发度自动调优 · 贝叶斯优化与强化学习在调优中的应用
自动调优超参数搜索
23
GPU内核启动优化
内核启动开销（Kernel Laun… · 内核融合减少启动次数 · 使用CUDA Graphs减少CPU…
GPU内核启动优化
24
内存池与自定义分配器
自定义内存分配器设计（Buddy S… · Slab Allocator） · 内存池预分配与回收策略
内存池自定义分配器
25
请求优先级与服务质量（QoS）
请求优先级分类（高/中/低） · QoS保证策略（速率限制 · 请求丢弃）
QoS请求优先级
26
多租户与资源隔离
多租户推理场景下的资源隔离（cgro… · MIG） · 租户级性能隔离与公平调度
多租户资源隔离
27
边缘端推理优化
边缘设备资源限制下的模型压缩（TFL… · CoreML） · 边缘-云端协同推理
边缘端推理优化TFL
28
性能测试与回归分析
自动化性能测试框架设计 · 性能回归检测（Statistical… · 基线管理
性能测试回归分析
29
生产环境性能调优案例
真实案例1（大语言模型服务延迟优化） · 案例2（图像分类服务吞吐量提升） · 案例3（推荐系统资源利用率优化）
生产环境性能调优…真实案例1
30
未来趋势与前沿技术
动态形状推理优化 · 稀疏计算与结构化稀疏 · 可重构计算（FPGA）
未来趋势前沿技术