VIP8
本课程属于：008-世界模型与JEPA工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

世界模型推理加速与部署优化实战课

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
世界模型的定义 · 发展历程 · 核心能力
课程导入世界模型的定义
02
世界模型基础架构
理解基于Transformer · 扩散模型 · 状态空间模型（如Mamba）等主流世…
世界模型基础架构Transformer
03
推理加速核心概念
延迟 · 吞吐量 · 显存占用
推理加速核心概念延迟
04
模型压缩技术
剪枝 · 量化（PTQ/QAT） · 知识蒸馏
模型压缩技术剪枝
05
量化实战
使用PyTorch/TensorRT… · 并评估精度与速度的权衡
量化实战PyTorch/Tens…
06
蒸馏实战
设计教师-学生蒸馏方案 · 将大型世界模型压缩为小型高效模型 · 并保持预测质量
蒸馏实战设计教师
07
推理引擎与编译器
掌握TensorRT · ONNX Runtime · TVM
推理引擎编译器
08
TensorRT部署实战
将训练好的世界模型导出为ONNX · 使用TensorRT构建推理引擎 · 并进行动态形状和精度调优
TensorRT部署实战
09
ONNX Runtime优化
利用ONNX Runtime的图优化 · 算子融合 · 执行提供者（CPU/CUDA/Ten…
ONNXRuntime
10
批处理与动态形状
实现动态批处理 · 连续批处理（Continuous B… · 分页KV Cache等技巧以提升吞吐…
批处理动态形状
11
KV Cache优化
理解KV Cache的内存布局 · 量化 · 共享
KVCache
12
投机采样与并行解码
实现投机采样（Speculative… · 并行解码（如Medusa · EAGLE）来加速自回归生成
投机采样并行解码
13
注意力机制优化
FlashAttention · PagedAttention · 稀疏注意力
注意力机制优化FlashAttenti…
14
分布式推理
使用张量并行 · 流水线并行 · 数据并行等技术在多GPU/多节点上部…
分布式推理使用张量并行
15
模型服务框架
使用vLLM · TensorRT-LLM · Ray Serve
模型服务框架vLLM
16
NVIDIA Triton实战
搭建Triton推理服务器 · 集成世界模型 · 实现多模型管理
NVIDIATriton
17
vLLM实战
使用vLLM部署世界模型 · 配置PagedAttention · 连续批处理
vLLM使用
18
TensorRT-LLM实战
基于TensorRT-LLM构建世界… · 利用其融合优化和运行时特性
TensorRT-LLM基于
19
CPU与边缘设备部署
针对CPU · Jetson等边缘设备进行模型优化（… · ONNX Runtime Mobil…
CPU边缘设备部署
20
推理性能分析工具
使用Nsight Systems · Nsight Compute · PyTorch Profiler
推理性能分析工具Nsight
21
性能调优方法论
从系统层面（内存 · I/O · 线程调度）到算法层面（算子选择
性能调优方法论从系统层面
22
精度与速度权衡
评估量化 · 剪枝 · 蒸馏等优化手段对世界模型预测精度的影…
精度速度权衡
23
端到端部署案例
自动驾驶场景下的世界模型推理加速与部… · 包括传感器数据预处理 · 模型推理
端到端部署案例自动驾驶场景下的…
24
端到端部署案例
机器人控制中的世界模型实时推理 · 结合ROS/ROS2进行部署与通信优…
端到端部署案例机器人控制
25
端到端部署案例
游戏AI或仿真环境中的世界模型推理加… · 实现高帧率交互
端到端部署案例AI
26
常见问题与解决方案
部署中遇到的显存溢出 · 延迟抖动 · 精度下降
常见问题解决方案
27
模型版本管理与A/B测试
在部署中实现模型热更新 · 版本回滚 · A/B测试
A/B模型版本管理
28
安全与可靠性
推理服务的容错 · 超时处理 · 负载均衡
安全可靠性
29
综合实战项目
从零构建一个世界模型推理加速与部署系… · 涵盖模型压缩 · 引擎优化
综合实战项目从零构建一个世界…
30
课程总结与前沿展望
回顾核心知识点 · 探讨世界模型推理加速的未来趋势（如端… · 神经符号融合
课程总结前沿展望