VIP20
本课程属于：024-英伟达技术 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

推理服务性能深度调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 性能调优的整体框架
课程导入学习目标
02
推理服务基础
推理服务的定义 · 架构 · 性能指标（延迟
推理服务基础推理服务的定义
03
性能分析工具
常用性能分析工具（如Profilin… · 监控系统）的使用方法
性能分析工具Profilin
04
性能瓶颈识别
如何定位CPU · 内存 · I/O
性能瓶颈识别CPU
05
模型优化基础
模型量化 · 剪枝 · 蒸馏等优化技术
模型优化基础模型量化
06
推理引擎选择
主流推理引擎（如TensorRT · ONNX Runtime）的特点与适…
推理引擎选择TensorRT
07
批处理优化
动态批处理 · 连续批处理等策略
批处理优化动态批处理
08
并发与异步
并发模型 · 异步处理 · 事件驱动架构
并发异步
09
缓存策略
结果缓存 · 特征缓存 · 模型缓存
缓存策略结果缓存
10
内存管理
内存池 · 显存优化 · 垃圾回收调优
内存管理内存池
11
GPU优化
GPU利用率提升 · CUDA优化 · 多GPU并行
GPU优化
12
CPU优化
指令集优化 · 多线程 · NUMA感知
CPU优化
13
网络优化
网络协议 · 连接复用 · 负载均衡
网络优化网络协议
14
存储优化
数据加载 · 预处理流水线 · 数据压缩
存储优化数据加载
15
服务配置调优
线程池 · 连接池 · 超时设置
服务配置调优线程池
16
容器化与编排
Docker资源限制 · Kubernetes自动伸缩
容器化编排
17
性能测试方法
基准测试 · 压力测试 · 负载测试
性能测试方法基准测试
18
性能监控与告警
监控指标 · 日志分析 · 告警规则
性能监控告警
19
案例实战
图像分类服务性能调优
案例实战图像分类服务性能…
20
案例实战
自然语言处理服务性能调优
案例实战自然语言处理服务…
21
案例实战
推荐系统推理性能调优
案例实战推荐系统推理性能…
22
常见问题与解决
延迟抖动 · 吞吐瓶颈 · 资源竞争
常见问题解决
23
性能调优最佳实践
调优流程 · 文档记录 · 团队协作
性能调优最佳实践调优流程
24
前沿技术
模型并行 · 推理加速芯片 · 边缘推理
前沿技术模型并行
25
综合项目
从零构建高性能推理服务
综合项目从零构建高性能推…
26
性能调优的进阶技巧
内核旁路 · 用户态协议栈
性能调优的进阶技…内核旁路
27
成本优化
性能与成本的平衡 · 按需伸缩
成本优化性能
28
安全与性能
安全措施对性能的影响及优化
安全性能
29
性能调优的自动化
AutoML · 自动调参
性能调优的自动化AutoML
30
课程总结
核心要点回顾 · 学习路径建议
课程总结核心要点回顾