VIP20
本课程属于：162-NVIDIA CUDA与TensorRT GPU加速工程 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT多模型推理服务工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与工程全景
目标=TensorRT多模型推理服务… · 核心挑战 · 典型应用场景与整体技术栈
课程导入工程全景
02
TensorRT核心机制回顾
目标=引擎 · 上下文 · 执行器
TensorRT核心机制回顾
03
多模型服务架构设计
目标=进程内多引擎 · 多进程 · 多实例与模型路由的基本模式与选型依据
多模型服务架构设…目标=进程内多引…
04
模型仓库与版本管理
目标=模型文件组织 · 元数据描述 · 版本切换与回滚策略
模型仓库版本管理
05
ONNX到TensorRT的批量构建流水线
目标=解析 · 优化配置 · 序列化引擎与构建缓存管理
ONNXTensorRT
06
动态形状与多Profile工程实践
目标=优化Profile设计 · 运行时形状选择与性能权衡
Profile动态形状
07
多模型显存管理
目标=显存池 · 上下文切换 · 权重共享与显存超卖风险控制
多模型显存管理目标=显存池
08
CUDA流与并发执行
目标=多流调度 · 事件同步 · 跨模型并行推理与延迟隐藏
CUDA并发执行
09
多模型批处理策略
目标=静态批 · 动态批 · 连续批与微批调度在服务中的实现
多模型批处理策略目标=静态批
10
模型路由与请求分发
目标=基于模型名 · 版本 · 优先级的路由表设计与实现
模型路由请求分发
11
推理服务API设计
目标=gRPC与HTTP接口 · 请求响应协议 · 流式与异步调用
API推理服务
12
请求队列与背压机制
目标=有界队列 · 优先级队列 · 超时丢弃与过载保护
请求队列背压机制
13
多模型服务中的内存拷贝优化
目标=零拷贝 · pinned memory · 设备间传输与统一内存
多模型服务内存拷贝优化
14
TensorRT插件与自定义层在多模型服务中的集成
目标=插件注册 · 版本兼容与性能影响
TensorRT插件
15
多模型精度策略
目标=FP32 · FP16 · INT8
多模型精度策略FP32
16
INT8量化在多模型服务中的落地
目标=校准集构建 · 逐模型校准与精度回归验证
INT8量化
17
多模型性能基准测试
目标=吞吐 · 延迟 · P99
多模型性能基准测…目标=吞吐
18
多模型服务性能调优
目标=批大小 · 流数量 · 上下文数
多模型服务性能调…目标=批大小
19
多模型服务中的错误处理与容错
目标=引擎加载失败 · 推理异常 · GPU错误与降级策略
多模型服务错误处理
20
多模型服务可观测性
目标=日志 · 指标 · 追踪与GPU监控的集成方案
多模型服务可观测…目标=日志
21
多模型服务部署与编排
目标=Docker · Kubernetes · GPU调度与弹性伸缩
多模型服务部署编排
22
多模型服务的热更新与动态加载
目标=不中断服务地新增 · 替换与卸载模型
多模型服务的热更…动态加载
23
多模型服务的安全与隔离
目标=模型加密 · 访问控制 · 多租户资源隔离与数据保护
多模型服务的安全隔离
24
多模型服务中的CPU预处理与GPU推理流水线
目标=数据加载 · 解码 · 归一化与异步流水
CPUGPU
25
多模型服务中的后处理与结果聚合
目标=NMS · 解码 · 多模型结果融合与业务逻辑集成
多模型服务后处理
26
多模型服务实战
目标=构建一个支持图像分类 · 检测与分割的多模型推理服务
多模型服务实战目标=构建一个支…
27
多模型服务实战
目标=为NLP场景部署BERT · GPT类模型的多模型推理服务
多模型服务实战NLP
28
多模型服务实战
目标=推荐系统多模型推理服务的特征处… · 嵌入查表与排序模型集成
多模型服务实战目标=推荐系统多…
29
多模型服务压测与故障演练
目标=模拟高并发 · 模型故障 · GPU掉卡与恢复流程
多模型服务压测故障演练
30
多模型推理服务工程总结与演进
目标=最佳实践 · 反模式 · 技术趋势与持续优化路线
多模型推理服务工…演进