VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM在嵌入式设备上的移植实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 嵌入式设备上部署LLM的挑战与机遇
课程导入学习目标
02
基础知识
TensorRT-LLM核心概念 · 嵌入式设备硬件特性（GPU/NPU/… · LLM推理基础
基础知识TensorRT-LLM
03
环境搭建
交叉编译工具链 · 嵌入式Linux系统配置 · TensorRT-LLM依赖库安装
环境搭建交叉编译工具链
04
模型转换
将PyTorch模型转换为ONNX · 再转换为TensorRT引擎 · 处理动态形状和精度
模型转换PyTorch
05
量化技术
PTQ和QAT在嵌入式设备上的应用 · INT8/FP16精度选择与性能权衡
量化技术PTQ
06
内存优化
显存/内存管理 · KV Cache优化 · 模型分片与内存映射
内存优化显存
07
算子优化
针对嵌入式GPU/NPU的算子融合 · 自定义算子开发与调优
算子优化GPU/NPU
08
推理引擎构建
使用TensorRT-LLM API… · 配置批处理 · 并发和流式输出
推理引擎构建TensorRT-LLM
09
模型部署
将引擎集成到应用程序 · 处理输入输出预处理 · 后处理
模型部署将引擎集成到应用…
10
性能调优
基准测试 · 瓶颈分析 · 使用NVIDIA Nsight等工具…
性能调优基准测试
11
功耗与散热
功耗管理 · 动态电压频率调整（DVFS） · 散热设计对推理性能的影响
功耗散热
12
案例实战
在Jetson Orin上部署GPT… · 实现文本生成
案例实战Jetson
13
案例实战
在Jetson Xavier上部署L… · 优化内存和延迟
案例实战Jetson
14
案例实战
在树莓派（带GPU）上部署小型LLM · 探索边缘推理
案例实战GPU
15
常见问题
编译错误 · 运行时错误 · 精度损失
常见问题编译错误
16
常见问题
模型加载慢 · 推理延迟高 · 吞吐量低等性能问题的优化策略
常见问题模型加载慢
17
常见问题
多模型管理 · 动态加载与卸载 · 模型热更新
常见问题多模型管理
18
安全与可靠性
模型加密 · 防篡改 · 异常处理与容错机制
安全可靠性
19
多线程与异步
使用多线程 · 异步推理提高资源利用率 · 处理并发请求
多线程异步
20
模型服务化
使用TensorRT-LLM Ser… · 提供RESTful API
模型服务化TensorRT-LLM
21
边缘计算集成
与ROS · OpenCV等框架集成 · 实现机器人或视觉应用
边缘计算集成ROS
22
模型压缩
知识蒸馏 · 剪枝 · 低秩分解等压缩技术
模型压缩知识蒸馏
23
混合精度训练与推理
FP16/BF16混合精度在嵌入式设…
混合精度训练推理
24
自定义模型支持
如何将自定义架构（如Transfor…
自定义模型支持Transfor
25
插件开发
编写TensorRT插件实现自定义算… · 并集成到引擎
插件开发TensorRT
26
性能对比
TensorRT-LLM与其他推理框… · OpenVINO）在嵌入式设备上的对…
性能对比TensorRT-LLM
27
部署自动化
使用Docker容器化部署 · 实现快速环境复制和更新
部署自动化Docker
28
监控与日志
记录推理日志 · 性能指标 · 实现远程监控和告警
监控日志
29
综合项目
构建一个完整的嵌入式AI助手 · 集成语音识别 · LLM推理和语音合成
综合项目AI
30
课程总结
回顾关键知识点 · 展望未来趋势 · 提供进一步学习资源
课程总结回顾关键知识点