所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

Edge Generative AI TensorRT-LLM边缘优化从入门到精通

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
边缘生成式AI的兴起 · TensorRT-LLM的定位 · 课程学习路径与目标
课程导论AI
02
环境搭建
NVIDIA边缘设备（Jetson系… · JetPack SDK安装 · TensorRT-LLM源码编译与容…
环境搭建NVIDIA
03
Transformer与生成式模型基础
注意力机制 · 类模型结构 · KV Cache原理
Transformer生成式模型基础
04
TensorRT-LLM核心概念
模型定义 · 引擎构建 · 序列化与反序列化
TensorRT-LLM核心概念
05
模型转换与量化入门
FP16/INT8/INT4量化原理 · PTQ与QAT · TensorRT-LLM中的量化配置…
模型转换量化入门
06
边缘设备性能分析
使用Nsight Systems · Nsight Compute · TensorRT Profiler定…
边缘设备性能分析Nsight
07
TensorRT-LLM模型构建实战
从HuggingFace模型到Ten… · 以LLaMA或Mistral为例
TensorRT-LLM模型构建实战
08
引擎构建参数详解
max_batch_size · max_seq_len · beam_width
引擎构建参数详解max
09
推理服务部署
使用TensorRT-LLM的Pyt… · 集成FastAPI或gRPC · 实现流式输出
推理服务部署TensorRT-LLM
10
边缘端内存优化
显存不足时的策略 · 包括KV Cache量化 · 分页注意力
边缘端内存优化显存不足时的策略
11
批处理与并发优化
动态批处理 · 连续批处理（inflight bat… · 调度策略对吞吐量的影响
批处理并发优化
12
低延迟优化技巧
减少首延迟（TTFT）与每… · 使用CUDA Graph · 自定义kernel
低延迟优化技巧
13
模型压缩与蒸馏
知识蒸馏 · 剪枝 · 低秩分解在边缘生成式AI中的应用
模型压缩蒸馏
14
多模型管理与热切换
在边缘设备上同时部署多个模型 · 动态加载/卸载 · 资源隔离与优先级调度
多模型管理热切换
15
边缘端多模态模型优化
视觉语言模型（如LLaVA）在Ten… · 视觉编码器与LLM的协同推理
边缘端多模态模型…LLaVA
16
流式生成与交互式应用
实现流式传输 · 停止条件 · 上下文管理
流式生成交互式应用
17
安全与隐私
边缘推理的数据安全 · 模型加密 · TEE（可信执行环境）集成
安全隐私
18
功耗与热管理
边缘设备的功耗监控 · 动态电压频率调整（DVFS） · 推理任务调度以平衡性能与功耗
功耗热管理
19
常见问题排查
编译错误 · 运行时崩溃 · 精度下降
常见问题排查编译错误
20
性能调优实战
以Jetson Orin为例 · 从默认配置到极致性能的调优过程 · 包括benchmark工具使用
性能调优实战Jetson
21
边缘端微调与适配
使用LoRA/QLoRA在边缘设备上… · 并集成到TensorRT-LLM推理…
边缘端微调适配
22
TensorRT-LLM插件开发
自定义算子 · 自定义注意力实现 · 插件注册与使用
TensorRT-LLM插件开发
23
与边缘AI框架集成
将TensorRT-LLM与Deep… · ROS2 · 边缘网关等系统集成
AI边缘
24
案例实战
智能客服机器人 · 实现低延迟对话 · 包括数据流
案例实战智能客服机器人
25
案例实战
边缘端文档摘要：处理长文档 · 使用TensorRT-LLM优化长序… · 实现高效摘要生成
案例实战边缘端文档摘要
26
案例实战
实时语音助手：结合语音识别与TTS · 使用TensorRT-LLM优化LL… · 实现端到端语音交互
案例实战TTS
27
案例实战
边缘端代码生成 · 优化代码补全的延迟与吞吐 · 集成到IDE插件
案例实战边缘端代码生成
28
综合项目
构建边缘AI推理平台：整合模型管理 · 监控 · 日志
综合项目AI
29
前沿趋势与进阶方向
TensorRT-LLM新特性 · 稀疏化 · 混合精度
前沿趋势进阶方向
30
课程总结与认证
核心知识回顾 · 最佳实践总结 · 常见误区
课程总结认证