1. 课程导入
自动驾驶智能体并不是一个“跑在云端的大模型”那么简单。真正决定用户体验与安全边界的，是它在车端有限算力、有限功耗、严格时延约束下，能否稳定完成感知、预测、决策与控制的闭环推理。本课程围绕“车端部署”与“实时推理工程”两条主线展开，帮助你建立从模型到芯片、从算子到调度、从时延到安全的完整工程视角。
一、核心概念：智能体、车端与实时推理
自动驾驶智能体通常由多模态感知网络、时序融合模块、轨迹预测与规划模块组成，部分方案还引入大语言模型或视觉语言模型进行场景理解与交互决策。与通用AI推理不同，车端推理有三个硬约束：确定性时延、功能安全与资源上限。确定性时延意味着最坏执行时间（WCET）必须可预测；功能安全要求关键链路具备冗余与降级策略；资源上限则体现为SoC算力、内存带宽与功耗墙。
实时推理工程的核心，是把“模型精度”翻译成“可调度的时间预算”。例如一个BEV感知模型在GPU上单帧耗时35ms，若控制周期为50ms，则留给预测与规划的时间只有15ms。任何一次内存拷贝、一次同步等待，都可能击穿这条时间线。
二、整体知识框架：从模型到车轮的四层结构
本课程的知识框架可以划分为四层：模型层（网络结构、量化敏感度）、编译层（图优化、算子融合、内存复用）、运行时层（推理引擎、线程调度、流水线并行）与系统层（SoC异构计算、传感器同步、安全监控）。四层之间通过明确的接口与约束耦合，任何一层的改动都会影响整体时延与精度。
三、方法流程：一次完整的车端部署链路
一个可复用的部署流程通常包含六个阶段，每个阶段都有明确的输入、输出与验收标准。下表给出关键步骤与常见工具链。
| 阶段 | 主要任务 | 典型工具/格式 | 验收指标 |
|---|---|---|---|
| 模型导出 | 从训练框架导出静态图 | PyTorch → ONNX | 输出节点与输入shape一致 |
| 图优化 | 算子融合、常量折叠、冗余消除 | ONNX Runtime / TensorRT | 算子数量下降、无不支持算子 |
| 量化校准 | INT8/FP16量化与校准集评估 | PTQ / QAT | 精度损失 ≤ 1% |
| 引擎构建 | 生成目标平台推理引擎 | TensorRT / SNPE / RKNN | 引擎可加载、输出对齐 |
| 运行时集成 | 接入ROS2/自研中间件，管理内存与线程 | CUDA Stream / OpenCL | 单帧时延满足预算 |
| 实车验证 | 闭环测试、时延抖动与降级验证 | CAN/以太网回放 | P99时延达标、无安全违规 |
四、实战路线图与典型场景
课程实战将围绕一个“城市NOA智能体”展开：输入为6路摄像头与1路激光雷达，输出为规划轨迹与控制指令。你会依次完成模型导出、INT8量化、TensorRT引擎构建、多流并行调度，并在实车数据回放中观察时延与精度变化。
# 典型部署命令示例（TensorRT）
trtexec --onnx=agent_bev.onnx \
--saveEngine=agent_bev_int8.engine \
--int8 \
--calib=calib_cache.bin \
--workspace=4096 \
--verbose
在真实项目中，最常见的误区是“只关注平均时延，忽略P99与抖动”。例如平均时延28ms看似安全，但P99达到62ms，就会在控制周期50ms下产生偶发超时。另一个误区是“量化后只看mAP，不看时序一致性”，导致轨迹预测出现跳变。