1. Jetson机器人感知与自主系统全景

欢迎进入《NVIDIA Jetson机器人感知与自主系统开发》课程。本章不急于写代码，而是先建立一张“全局地图”：你要开发的机器人由哪些硬件承载、感知—决策—控制如何闭环、Jetson各代平台如何选型、一个典型项目从零到跑通要经过哪些阶段。只有把这张地图建立起来，后续的传感器标定、模型部署、ROS 2节点编排、实时性调优才不会变成零散技巧的堆砌。

1.1 课程目标：从“会跑例程”到“能交付系统”

本课程面向具备一定Linux与Python/C++基础、希望把AI模型真正落到移动机器人上的开发者。学完后你应当能够独立完成以下任务：在Jetson上完成系统烧录与开发环境搭建；接入并标定相机、深度相机、IMU、激光雷达等传感器；把PyTorch或ONNX模型转换为TensorRT引擎并做精度与延迟评估；用ROS 2组织感知、定位、规划、控制节点；在真实或仿真机器人上完成建图、定位、避障与导航；并对CPU/GPU/内存/功耗做可观测的性能分析。

需要强调的是，本课程的目标不是“让Demo动起来”，而是“让系统稳定地动起来”。机器人系统与纯软件最大的区别在于：它必须与物理世界实时交互，任何一次延迟抖动、坐标系错误或时间戳不同步，都可能表现为撞墙、抖动或定位丢失。因此，课程会反复强调时间同步、坐标系约定、资源预算这三条工程主线。

1.2 Jetson平台家族：算力、功耗与接口的取舍

Jetson是NVIDIA面向边缘AI与嵌入式的计算平台，核心特点是“ARM CPU + NVIDIA GPU + 专用加速器”的异构SoC，并共享统一内存。这意味着CPU与GPU可以直接访问同一块物理内存，避免了PC上常见的显存拷贝开销，对机器人这种需要低延迟推理的场景非常关键。

选型时不要只看TOPS（每秒万亿次运算）这一个数字。真正决定机器人能否跑通的是四个维度：AI算力、内存带宽与容量、功耗与散热、接口与尺寸。例如同样是高算力模块，Orin NX与AGX Orin在功耗档位、CSI通道数、PCIe通道上差异明显，直接影响你能接几路相机、能否加装万兆网卡或NVMe。

表中数值为官方标称量级的示例性归纳，实际可用算力取决于功耗模式、散热条件与模型精度。工程上建议先按“峰值算力打三折”估算可持续推理能力，再留出30%余量给定位、规划与控制节点。

1.3 感知—决策—控制闭环

机器人自主系统的本质是一个持续运行的闭环。感知层把物理世界转换为带时间戳的数据；决策层在环境模型中推理出目标与路径；控制层把路径转换为电机、舵机或底盘的执行指令；执行结果又改变物理世界，被传感器重新观测。这个循环通常以10–100Hz运行，任何一环阻塞都会让闭环退化。

图中每个箭头都对应一个工程约束。感知到决策之间要求时间戳一致，否则融合结果会错位；决策到控制之间要求延迟可预测，否则高速运动会震荡；控制到物理世界再到感知，则要求坐标系与标定准确。这三条约束贯穿全课程。

1.4 典型机器人形态与开发流程

不同机器人形态对Jetson的要求差异很大。差速轮式AGV/AMR通常只需一路深度相机加轮式里程计，算力需求中等，重点是定位稳定性；四足与人形机器人关节多、控制频率高，需要高算力与低抖动；机械臂抓取强调视觉伺服与手眼标定；无人机则对重量与功耗极度敏感。选型前先明确形态，再反推算力与接口。

一个可复现的开发流程通常包含六个阶段，但每个阶段的产出物必须可验证，而不是“跑过就算”：

1. 硬件与系统准备：烧录JetPack，确认CUDA、cuDNN、TensorRT版本匹配，设置功耗模式与散热策略。
2. 传感器接入与标定：验证相机帧率与时间戳，完成内参、外参标定，统一到base_link坐标系。
3. 模型部署：导出ONNX，用trtexec或TensorRT API构建引擎，记录FP16/INT8下的延迟与精度。
4. ROS 2节点编排：定义话题、QoS与TF树，把感知、定位、规划、控制拆成可独立测试的节点。
5. 仿真与实机联调：先在Gazebo/Isaac Sim验证逻辑，再上实机做低速闭环，逐步提速。
6. 性能与稳定性评估：用tegrastats、ros2 topic hz、rqt_graph观察资源占用、频率与丢帧，定位瓶颈。

1.5 本章小结与学习建议

本章建立了三个核心认知：Jetson是异构统一内存平台，选型要看算力、内存、功耗、接口的综合平衡；机器人自主系统是感知—决策—控制的实时闭环，时间同步、坐标系、延迟是三条工程主线；开发流程的每个阶段都要有可验证的产出物。接下来你将进入具体环境搭建与第一个感知节点的实现，请带着“我的机器人形态是什么、算力预算多少、闭环频率目标多少”这三个问题继续学习。