3. 多传感器基础

在 Orin 多传感器 AI 流水线中，传感器不是简单的“外设”，而是决定感知上限的物理入口。摄像头提供稠密纹理与语义，激光雷达提供高精度三维几何，毫米波雷达提供全天候距离与速度，IMU 提供高频姿态与加速度，GNSS 提供全局绝对位置。理解它们的原理、数据格式与接口类型，是后续时间同步、标定、融合与部署的前提。

一、核心原理：五类传感器的物理测量本质

摄像头基于小孔成像与光电转换，将三维场景投影到二维像素平面。它输出的是稠密但丢失深度信息的图像，依赖光照，适合做目标分类、车道线、交通标志与语义分割。Orin 上常见接口为 MIPI CSI-2 和 USB 3.0，前者带宽高、延迟低，适合车载相机；后者即插即用，适合调试与原型验证。

激光雷达通过发射激光脉冲并测量飞行时间（ToF）获得距离，结合扫描角度形成三维点云。机械式、半固态和固态方案在视场角、线数与可靠性上差异明显。点云是稀疏、无序、带反射强度的三维点集，适合做障碍物检测、可通行区域与高精地图匹配。Orin 通常通过以太网接收 UDP 点云包，部分型号支持 PTP 硬件时间戳。

毫米波雷达利用 FMCW 调频连续波，通过发射与回波差频计算距离和径向速度，并利用多天线相位差测角。它对雨雾、黑夜和强光不敏感，擅长输出目标级距离、速度、角度（RVA），但角分辨率低于激光雷达。接口多为 CAN/CAN-FD 或以太网，适合做前向碰撞预警与盲区监测。

IMU由三轴加速度计与三轴陀螺仪组成，测量比力与角速度，输出频率可达 100–1000 Hz。它短期精度高、长期漂移大，是视觉惯性里程计（VIO）和组合导航的核心。接口常见 SPI、I2C 或 UART，Orin 上多通过 SPI 或串口接入，并配合硬件触发实现采样同步。

GNSS通过接收多颗卫星伪距与载波相位解算绝对位置、速度与时间。单点定位米级，RTK 可达厘米级。它提供全局参考与 UTC 时间，但更新率低（1–20 Hz）且易受遮挡。接口通常为 UART 或 USB，输出 NMEA 语句或二进制协议。

二、方法流程：从物理量到可融合数据

传感器接入 Orin 的通用流程可以概括为五步：物理测量 → 信号调理 → 协议封装 → 驱动采集 → 时间戳对齐。摄像头经 ISP 输出 RAW/YUV，激光雷达经 UDP 打包点云，毫米波雷达经 CAN 输出目标列表，IMU 经 SPI 读取寄存器，GNSS 经 UART 输出 NMEA。每一类数据在进入融合节点前，都必须带上统一时间基准，否则融合结果会出现“鬼影”或漂移。

1. 确认传感器输出协议与电气接口，选择 Orin 对应控制器。
2. 配置驱动与采集参数，如分辨率、帧率、点云密度、CAN 波特率。
3. 为每帧数据打上硬件或软件时间戳，优先使用 PTP、触发信号或 GPS PPS。
4. 将原始数据转换为流水线内部统一格式，如 ROS 2 消息或自定义结构体。
5. 进入标定与融合模块，完成空间外参与时间偏移补偿。

三、案例场景：城市低速无人配送车

一辆城市低速无人配送车在 Orin 上同时接入 4 路 CSI 摄像头、1 台 16 线激光雷达、1 个前向毫米波雷达、1 个 IMU 和 1 个 RTK GNSS。摄像头负责识别行人与红绿灯，激光雷达负责近距障碍物与可通行区域，毫米波雷达在雨雾天补充远距目标速度，IMU 与 GNSS 组合提供定位与航向。若忽略接口带宽，4 路 1080p@30fps 的 RAW 数据可能压满 CSI 通道；若忽略时间同步，激光点云与图像融合时会出现目标错位。

# 典型 Orin 传感器接入检查清单
camera:  4x MIPI CSI-2, 1920x1080@30fps, RAW10
lidar:   Ethernet UDP, 16线, 10Hz, PTP 时间戳
radar:   CAN-FD, 500kbps, 目标级 RVA, 20Hz
imu:     SPI, 200Hz, 加速度+角速度
gnss:    UART, 5Hz, NMEA + RTCM 差分
sync:    PPS + PTP + 硬件触发

四、误区与复盘：接口与数据格式的常见坑

复盘时建议按“接口—带宽—时间戳—数据格式—标定”五条线逐项排查。只有把每类传感器的物理本质、输出格式和接入方式都对齐，Orin 上的多传感器 AI 流水线才能稳定运行，后续的融合感知与决策模块才有可靠输入。