VIP20

本课程属于：024-英伟达技术 AI与大模型 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

英伟达推理部署延迟分析与突破

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 推理部署延迟的重要性与挑战

课程导入学习目标

推理部署基础

推理与训练的区别 · 推理延迟的定义与度量指标（如P50/… · 部署环境概述

推理部署基础推理

英伟达推理平台概览

GPU架构（Ampere · Hopper等） · Tensor Core

英伟达推理平台概…GPU

推理软件栈

CUDA · cuDNN · TensorRT

推理软件栈CUDA

延迟分析工具

Nsight Systems · Nsight Compute · nvprof等性能分析工具的使用

延迟分析工具Nsight

延迟来源剖析

数据加载 · 预处理 · 模型推理

延迟来源剖析数据加载

模型优化技术

模型剪枝 · 量化（INT8/FP16） · 知识蒸馏等对延迟的影响

模型优化技术模型剪枝

TensorRT核心概念 · 优化流程 · 动态形状

推理引擎选择

TensorRT · ONNX Runtime · PyTorch等引擎的延迟对比与选型

推理引擎选择TensorRT

批处理与并发

动态批处理 · 并发推理 · 多流技术对延迟和吞吐的影响

批处理并发

GPU资源管理

显存管理 · 上下文切换 · GPU利用率优化

GPU资源管理

CPU与GPU协同

数据搬运 · 异步处理 · 流水线设计减少延迟

网络与存储优化

减少I/O延迟 · 使用NVMe · RDMA等

网络存储优化

推理服务架构

Triton Inference S… · 模型集成 · 动态批处理等

推理服务架构Triton

延迟与吞吐权衡

如何平衡延迟和吞吐量 · 满足SLA

延迟吞吐权衡

图像分类模型（ResNet）的延迟优…

案例实战ResNet

目标检测模型（YOLO）的延迟优化与…

案例实战YOLO

NLP模型（BERT）的延迟优化与部…

案例实战NLP

推荐系统模型的延迟优化与部署

案例实战推荐系统模型的延…

多模型部署

多模型管理 · 模型版本控制 · A/B测试

多模型部署多模型管理

Jetson平台上的推理延迟优化

边缘部署Jetson

大规模云环境下的延迟优化与弹性伸缩

云端部署大规模云环境下的…

延迟监控与告警

实时监控延迟指标 · 设置告警 · 日志分析

延迟监控告警

性能调优方法论

系统化调优流程 · 瓶颈定位 · 迭代优化

性能调优方法论系统化调优流程

常见问题与解决方案

延迟抖动 · GPU利用率低 · 内存不足等

常见问题解决方案

高级优化技术

CUDA Graph · 多GPU推理 · 模型并行

高级优化技术CUDA

延迟优化案例研究

业界真实案例（如自动驾驶 · 实时翻译）

延迟优化案例研究业界真实案例

综合实战项目

从零构建一个低延迟推理服务 · 涵盖全流程

综合实战项目从零构建一个低延…

核心要点回顾 · 最佳实践 · 学习路径建议

课程总结核心要点回顾

考核与评估

设计一个延迟优化方案并评估其效果