1. 课程导入：学习目标、课程结构、嵌入式设备上部署LLM的挑战与机遇
1.1 为什么要在嵌入式设备上运行大语言模型
大语言模型（LLM）正在从云端数据中心走向物理世界。当我们需要在无人机、工业网关、车载终端、医疗手持设备或边缘AI盒子上提供本地智能服务时，模型推理必须发生在设备本身，而不是依赖网络回传云端。这种需求并非为了“炫技”，而是由三个硬性约束驱动：隐私保护（敏感数据不出设备）、实时响应（避免网络延迟）、离线可用（弱网或无网环境）。
然而，嵌入式设备的硬件资源与云端GPU服务器存在数量级差距。以典型的嵌入式AI平台为例，其算力、内存和功耗预算远低于数据中心环境。TensorRT-LLM作为NVIDIA推出的高性能LLM推理引擎，虽然主要面向数据中心GPU优化，但其设计中的显存管理、KV Cache复用、层融合等思想，经过合理裁剪与适配后，同样可以为嵌入式设备带来显著的推理加速。本课程的核心目标，就是带领你走通“在嵌入式设备上使用TensorRT-LLM完成LLM部署”的完整路径。
1.2 学习目标与课程结构
完成本课程后，你将具备以下能力：
- 环境构建：能够在Jetson Orin、Xavier NX等嵌入式平台（或带有独立GPU的工控机）上从源码编译TensorRT-LLM，并验证其运行状态。
- 模型转换：掌握将HuggingFace格式的LLM（如Llama、Qwen、ChatGLM）转换为TensorRT-LLM引擎文件（.engine）的完整流程，并理解量化（INT8/INT4）对显存和精度的影响。
- 推理优化：能够配置KV Cache、最大序列长度、批处理大小等关键参数，使模型在嵌入式GPU的显存限制内稳定运行。
- 系统集成：学会将TensorRT-LLM的C++/Python运行时嵌入到你的应用进程中，并处理输入输出张量的内存拷贝。
- 排障能力：面对“引擎构建失败”“推理结果乱码”“显存溢出”等常见问题，能够根据日志和工具输出快速定位根因。
课程共30章，按“基础→进阶→实战”三个层次递进，结构如下表所示：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第1-8章 | 嵌入式AI硬件概览、TensorRT-LLM架构解析、环境搭建、ONNX导出与引擎构建 |
| 进阶篇 | 第9-20章 | 量化原理与实现、KV Cache优化、动态形状处理、多模型流式推理、C++运行时集成 |
| 实战篇 | 第21-30章 | Jetson平台完整移植案例、性能调优工具链、常见崩溃与精度问题排查、项目复盘 |
每一章都配有可运行的代码片段、参数配置示例和排障清单。建议你准备一块Jetson Orin Nano/Orin NX开发板（或带有8GB以上显存的NVIDIA GPU的x86主机），边学边练。
1.3 嵌入式设备部署LLM的核心挑战
在嵌入式设备上部署LLM，本质上是在有限资源与高计算需求之间寻找平衡点。下图展示了这一核心矛盾及TensorRT-LLM的应对思路：
上图揭示了嵌入式LLM部署的本质矛盾：模型权重体积、KV Cache占用、计算吞吐量三者共同构成了对硬件资源的“不可能三角”。TensorRT-LLM的应对思路并非单一技术，而是一套组合拳——量化降低权重体积、层融合减少计算开销、KV Cache管理控制显存峰值、动态形状适配不同输入长度。在后续章节中，我们将逐一拆解这些技术的实现细节。
1.4 典型应用场景与可行性判断
并不是所有LLM都适合部署到嵌入式设备。在动手之前，你需要先做一次可行性评估。以下三类场景是目前嵌入式LLM部署的主要落地方向：
- 智能语音助手（离线）：在车载或工业控制环境中，设备需要本地理解语音指令并生成结构化操作序列。通常使用1.5B~4B参数的小模型，配合预定义的工具调用格式。
- 边缘文档摘要：在医疗或法律设备上，文档不出设备即可生成摘要。这类场景对延迟不敏感（可接受5~10秒），但对隐私要求极高。
- 具身智能控制：机器人通过LLM将自然语言指令拆解为动作序列。需要低延迟（<500ms首token），通常将LLM与视觉模型结合。
1.5 资源估算与选型清单
在开始任何移植工作之前，请先完成以下资源估算。假设你要部署一个 7B FP16 模型（权重约14GB），目标设备为Jetson Orin NX 16GB：
# 资源估算示例（Python伪代码）
model_size_bytes = 7e9 * 2 # FP16 = 2 bytes/param
weight_after_int4 = model_size_bytes / 4 # INT4量化后约3.5GB
# KV Cache估算（假设batch=1, max_seq_len=2048, num_layers=32, num_heads=32, head_dim=128）
kv_cache_bytes = 2 * num_layers * num_heads * head_dim * max_seq_len * 2 # FP16
# 结果约 2*32*32*128*2048*2 = 1.07GB
# 运行时额外开销（激活、临时缓冲区等）
runtime_overhead = 1.5 # GB
total_required = weight_after_int4 + kv_cache_bytes/1e9 + runtime_overhead
print(f"预计总显存需求: {total_required:.2f} GB")
# 输出: 预计总显存需求: 6.07 GB根据上述估算，16GB显存的Orin NX可以轻松容纳INT4量化后的7B模型。但如果你希望使用FP16精度，则14GB权重加上KV Cache和运行时开销将超过16GB，必须考虑部分层卸载到CPU或使用更小的模型。
下表总结了不同规模模型在典型嵌入式平台上的部署预期，供选型参考：
| 模型规模 | 量化方式 | 权重体积 | Jetson Orin NX 16GB | Jetson Orin Nano 8GB | 典型应用 |
|---|---|---|---|---|---|
| 1.5B (Qwen2.5) | INT4 | ~0.9GB | ✅ 流畅 (50+ tok/s) | ✅ 可用 (30+ tok/s) | 简单指令理解 |
| 3B (Llama-3.2) | INT4 | ~1.8GB | ✅ 流畅 (30+ tok/s) | ✅ 可用 (15+ tok/s) | 语音助手、摘要 |
| 7B (Llama-2) | INT4 | ~3.5GB | ✅ 流畅 (15-20 tok/s) | ⚠️ 勉强 (8-10 tok/s) | 文档分析、代码生成 |
| 7B (Llama-2) | FP16 | ~14GB | ⚠️ 不可行（超显存） | ❌ 不可行 | — |
| 13B (Llama-2) | INT4 | ~6.5GB | ⚠️ 慢 (5-8 tok/s) | ❌ 不可行 | 离线批处理 |
1.6 课程实验环境准备
为了确保后续章节的代码可以顺利运行，请在开始学习前完成以下环境确认：
- 硬件：NVIDIA Jetson Orin系列开发套件（推荐Orin NX 16GB或Orin Nano 8GB），或带有NVIDIA GPU（GTX 1060以上，显存≥8GB）的x86主机。
- 系统：Jetson平台需安装JetPack 5.1.2或更高版本（自带CUDA 11.4+）；x86平台需Ubuntu 20.04/22.04 + CUDA 12.0+。
- 存储：至少30GB空闲磁盘空间（用于存放模型权重、引擎文件和编译中间产物）。
- 软件：Python 3.8+、pip、git、cmake（≥3.20）、g++（≥9.0）。
在终端中执行以下命令，验证基础环境是否就绪：
# 检查CUDA版本
nvcc --version
# 检查Python版本
python3 --version
# 检查GPU是否可用（Jetson平台显示为Tegra设备）
nvidia-smi如果上述命令均能正常输出，说明你的实验环境已经具备基础条件。从下一章开始，我们将正式进入TensorRT-LLM的源码编译与安装环节。请确保你的设备已连接电源并处于良好的散热环境中——编译过程会持续消耗CPU资源，温度过高可能导致编译失败。