1. 课程导入与平台全景

欢迎进入《高通Snapdragon机器人计算平台与感知系统集成》课程。在动手写第一行代码之前，我们需要先建立一张"全局地图"：Snapdragon机器人平台到底解决什么问题、它由哪些硬件与软件构成、感知系统在其中处于什么位置，以及后续30章将沿着怎样的路径展开。只有把这张地图看清楚，后面学习具体接口、驱动、数据流和调优时，才不会"只见树木不见森林"。

一、产品定位：为什么机器人需要专用计算平台

传统机器人常采用"工控机 + 独立GPU + 多块采集卡"的拼装方案，体积大、功耗高、各模块时钟不同步，感知与决策之间往往存在几十毫秒的延迟。Snapdragon机器人平台（Qualcomm Robotics RB系列，如RB5、RB6等）的核心定位，是把异构计算、实时控制、多传感器接入与AI推理集成到一块高能效的SoC上，面向自主移动机器人（AMR）、无人机、服务机器人、工业视觉等场景。

它的价值可以概括为三点：其一，高能效算力——CPU、GPU、DSP、NPU协同，在十几瓦功耗下提供数十TOPS级AI算力；其二，丰富的接口——MIPI CSI摄像头、I2C/SPI/UART、CAN、PCIe、USB、以太网等，便于直接连接深度相机、激光雷达、IMU和电机控制器；其三，软硬一体的软件栈——从底层Linux/RTOS到中间件、再到AI推理框架，形成可复用的开发基础。

二、硬件家族：从SoC到开发套件

理解硬件家族，关键是分清"芯片—模组—开发板"三个层次。芯片层是QCS/RB系列SoC，内部包含Kryo CPU、Adreno GPU、Hexagon DSP/NPU、Spectra ISP、内存控制器与各类外设控制器。模组层把SoC、LPDDR内存、UFS存储、Wi-Fi/蓝牙等封装为可贴装的模块。开发板层（如RB5 Development Kit）则在模组基础上引出摄像头接口、扩展排针、M.2插槽和电源管理，方便快速验证。

其中与感知最相关的是Spectra ISP和Hexagon NPU：ISP负责多路摄像头数据的采集、去马赛克、HDR与几何校正；NPU负责把训练好的检测、分割、深度估计模型高效地跑起来。二者配合，构成了"看得清"和"看得懂"的硬件基础。

三、软件栈概览：四层结构

Snapdragon机器人平台的软件栈大致可分为四层，自下而上依次是：

• 系统与驱动层：基于Yocto/Ubuntu的Linux发行版，配合内核驱动、Camera HAL、传感器驱动，负责硬件抽象与实时性保障。
• 中间件与框架层：ROS 2、Qualcomm Intelligent Robotics Product (QIRP) SDK、以及相机/传感器服务，负责节点通信、时间同步与数据分发。
• AI推理层：Qualcomm AI Engine、SNPE/QAIRT、TensorFlow Lite、ONNX Runtime等，负责模型转换、量化与在NPU/GPU上的调度执行。
• 应用层：SLAM、目标检测、路径规划、抓取控制等具体机器人功能。

这四层之间通过明确的接口解耦：应用层不直接操作寄存器，而是调用中间件；中间件通过HAL访问硬件。理解这种分层，是后续排查"是模型问题、驱动问题还是数据问题"的前提。

四、感知系统集成在机器人中的角色

如果把机器人比作人，计算平台是"大脑"，执行器是"手脚"，那么感知系统就是"眼睛和皮肤"。它负责把物理世界转化为可计算的数据：相机提供纹理与几何，激光雷达提供精确距离，IMU提供姿态与加速度。感知系统集成的任务，就是让这些异构传感器在时间上对齐、空间上统一、语义上可用。

具体来说，它要解决四类问题：第一，接入——不同接口（MIPI、USB、以太网、CAN）的传感器如何被平台识别并稳定出流；第二，同步——多传感器时间戳如何对齐到统一时钟，避免"看到的是上一时刻的世界"；第三，标定——相机内参、外参、雷达与相机的坐标变换如何确定；第四，推理与融合——如何把原始数据送进NPU得到检测结果，再与雷达、IMU融合成一致的环境模型。

五、学习路径与本节小结

基于以上全景，本课程的学习路径可以这样安排：先建立平台认知（本章），再完成开发环境搭建与系统烧写；随后进入传感器接入，逐一打通相机、雷达、IMU的数据链路；接着学习时间同步与标定，让多源数据"对齐"；然后进入AI推理层，学习模型转换、量化与NPU部署；最后做感知系统集成与端到端调优，把检测、跟踪、融合串成完整闭环。