首页
›
实战100例
›
016-大模型部署与推理优化实战
›
《TensorRT-LLM边缘优化实战100例》
VIP15
本课程属于：016-大模型部署与推理优化实战
实战100例 · 共 15 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录
咨询 / 购买
《TensorRT-LLM边缘优化实战100例》
共 100 例
01
环境搭建与TensorRT-LLM安装
02
模型转换基础：从HuggingFace到TensorRT-LLM
03
第一个TensorRT-LLM推理程序
04
理解引擎构建参数
05
量化基础：INT8量化
06
量化进阶：FP8量化
07
量化感知训练（QAT）入门
08
动态形状处理
09
批处理优化：静态批处理
10
批处理优化：动态批处理
11
KV缓存优化
12
内存池管理
13
多模型并发推理
14
模型并行：张量并行
15
模型并行：流水线并行
16
边缘设备性能调优：CPU绑核
17
边缘设备性能调优：GPU频率控制
18
低功耗模式配置
19
模型压缩：剪枝
20
模型压缩：蒸馏
21
使用TensorRT-LLM的C++ API
22
Python与C++混合编程
23
自定义插件开发
24
处理长序列：位置编码优化
25
流式输出实现
26
采样策略配置
27
beam search解码
28
重复惩罚与长度控制
29
提示词缓存
30
前缀共享优化
31
模型分片加载
32
使用ONNX模型转换
33
使用TensorRT-LLM的量化工具
34
校准数据集准备
35
精度评估与调优
36
推理服务化：使用FastAPI
37
推理服务化：使用gRPC
38
客户端负载均衡
39
服务端批处理队列
40
边缘设备上的模型热更新
41
监控与日志
42
性能基准测试
43
功耗测量与优化
44
内存占用分析
45
使用Jetson Orin的DLA
46
多线程推理
47
异步推理
48
使用TensorRT-LLM的Python异步接口
49
模型转换中的精度保持
50
处理多模态模型
51
处理编码器-解码器模型
52
处理仅编码器模型
53
处理仅解码器模型
54
自定义注意力掩码
55
稀疏注意力优化
56
滑动窗口注意力
57
使用FlashAttention
58
使用TensorRT-LLM的融合算子
59
自定义采样器
60
停止条件控制
61
生成文本的后处理
62
处理输入中的特殊标记
63
使用分词器优化
64
批量分词与解码
65
使用TensorRT-LLM的C++示例
66
使用TensorRT-LLM的Python示例
67
调试推理错误
68
日志级别设置
69
使用TensorRT-LLM的profiler
70
优化模型加载时间
71
使用TensorRT-LLM的缓存机制
72
在容器中部署
73
使用TensorRT-LLM的C++服务
74
使用TensorRT-LLM的Python服务
75
边缘设备上的模型选择
76
模型微调与部署
77
使用LoRA进行轻量级微调
78
将LoRA权重合并到模型
79
使用TensorRT-LLM的LoRA支持
80
多LoRA切换
81
处理多轮对话
82
对话历史压缩
83
使用系统提示
84
实现聊天机器人
85
实现文本补全
86
实现摘要生成
87
实现翻译
88
实现情感分析
89
实现命名实体识别
90
实现问答系统
91
实现代码生成
92
实现图像描述
93
实现语音识别后处理
94
实现结构化输出
95
实现工具调用
96
实现Agent
97
处理并发请求
98
实现请求优先级
99
实现超时控制
100
实现错误重试
所属VIP或分类
同VIP：DeepSpeed-ZeRO训练优化实战100例
同VIP：DeepSpeed大模型训练优化库实战100例
同VIP：FlashAttention推理优化实战100例