VIP20

本课程属于：161-NVIDIA IGX工业边缘AI与高可靠系统 AI智能与边缘计算工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

NVIDIA IGX CUDA并行与推理优化

共计 30 章节

可可资料掘金营 · 点击在线试看

IGX平台与CUDA并行计算概览

目标=IGX硬件架构 · Orin计算单元 · CUDA核心与Tensor Core

搭建IGX开发环境

目标=JetPack SDK · CUDA Toolkit · cuDNN

CUDA编程模型在IGX上的映射

目标=线程层次 · 内存层次 · 执行模型

IGX内存管理与数据搬运优化

目标=统一内存 · 零拷贝 · 锁页内存

IGX内存管理

CUDA核函数设计与IGX性能调优

目标=线程块尺寸 · 寄存器压力 · 占用率

IGX上的CUDA流与并发执行

目标=多流 · 事件 · 重叠计算与传输

利用Tensor Core进行混合精度推理

目标=FP16 · INT8 · BF16

TensorRT在IGX上的推理部署

目标=引擎构建 · 序列化 · 运行时执行

TensorRT量化与校准实战

目标=PTQ · QAT · 校准缓存

CUDA Graph在IGX推理中的运用

目标=图捕获 · 实例化 · 更新

IGX上的动态批处理与调度

目标=批处理策略 · 请求调度 · 延迟与吞吐平衡

IGX上的动态批处理

多模型并发推理优化

目标=CUDA MPS · 多进程服务 · 资源隔离

多模型并发推理优…CUDA

IGX端到端推理流水线构建

目标=预处理 · 推理 · 后处理

IGX端到端推理流水线…

使用Nsight工具进行IGX性能分析

目标=Nsight Systems · Nsight Compute · 瓶颈定位

IGX功耗与热管理对推理的影响

目标=功耗模式 · 频率调节 · 热节流

CUDA动态并行与IGX适用场景

目标=动态并行机制 · 嵌套核函数 · 适用条件

IGX上的自定义算子开发与集成

目标=CUDA算子编写 · TensorRT插件 · ONNX节点映射

IGX上的自定义算子开…

基于IGX的实时视频分析推理优化

目标=多路视频解码 · 批处理 · ROI推理

IGX安全与功能安全对CUDA推理的约束

目标=ASIL · 锁步核 · 安全岛

IGX多传感器融合推理的CUDA加速

目标=激光雷达 · 摄像头 · 雷达数据融合

IGX上的模型剪枝与稀疏化推理

目标=结构化剪枝 · 稀疏Tensor Core · 稀疏推理加速

IGX上的模型剪枝

CUDA协作组与IGX线程块集群

目标=协作组编程 · 集群同步 · 分布式共享内存

IGX推理服务化与容器化部署

目标=Docker · NVIDIA Container T… · Kubernetes

IGX推理服务化

IGX上的CUDA与图形互操作

目标=OpenGL · Vulkan互操作 · 零拷贝纹理

IGX推理的鲁棒性与容错设计

目标=错误检测 · CUDA错误处理 · 降级策略

IGX推理的鲁棒性

IGX上的Transformer类模型推理优化

目标=注意力机制优化 · KV缓存 · FlashAttention

IGX上的卷积神经网络推理优化

目标=Winograd · FFT · 隐式GEMM

IGX上的卷积神经网络…

IGX推理的端到端基准测试与调优

目标=基准设计 · 指标采集 · 瓶颈分析

IGX推理的端到端基准…

IGX上CUDA推理的持续集成与自动化测试

目标=单元测试 · 性能回归 · 精度验证

IGX推理优化综合实战

目标=从模型到部署 · 多目标优化 · 性能报告

IGX推理优化综合实战