3、时间戳同步：硬件同步 vs 软件同步、时间戳对齐方法、插值策略
做多传感器融合，时间同步是绕不开的坎。
我见过太多团队，算法调得漂漂亮亮，一上实车就崩。查来查去，最后发现是时间戳没对齐。说白了，传感器各自为政，你采你的，我采我的，融合出来的轨迹就是「鸡同鸭讲」。
这一节，咱们就聊聊时间戳同步这件事。我会把硬件同步、软件同步、对齐方法、插值策略这几个点掰开揉碎讲清楚。
3.1 硬件同步 vs 软件同步
先问个问题：你手里的传感器，时间戳是怎么来的？
大部分消费级传感器，比如普通的USB摄像头、低成本IMU，时间戳是数据到达主机那一刻打上的。这叫「软件时间戳」。问题在哪？数据从传感器到主机，中间有USB传输延迟、操作系统调度延迟、驱动缓冲延迟。这个延迟不是固定的，可能几毫秒，也可能几十毫秒。你想想看，对于高速运动的机器人，这几毫秒的误差足以让轨迹面目全非。
硬件同步：传感器自己带时钟，或者通过外部信号（比如PPS、Trigger）来统一触发。数据打上的是传感器本地的硬件时间戳，不受传输延迟影响。
软件同步：依赖主机系统时间，数据到达时打戳。精度受限于系统调度和传输延迟。
我个人习惯，能上硬件同步就上硬件同步。尤其是激光雷达+IMU这种组合，硬件同步几乎是标配。我在项目中遇到过用Livox Mid-40配HWT901B IMU，硬件同步后时间误差能控制在微秒级。而纯软件同步，能做到1毫秒以内就算不错了。
小技巧：如果传感器不支持硬件同步，可以尝试用「时间戳补偿」——测量出平均传输延迟，在软件层面做修正。但这个方法治标不治本，延迟抖动大的时候还是会出问题。
3.2 时间戳对齐方法
硬件同步搞定了，数据时间戳是准的。但不同传感器的采样频率不一样啊。比如LiDAR是10Hz，IMU是200Hz，相机是30Hz。怎么对齐？
常用的对齐方法有三种：
- 最近邻对齐：找时间上最接近的那个数据。简单粗暴，但精度有限。
- 线性插值对齐：在两个已知时间戳之间，用线性模型估计中间时刻的数据。这是最常用的方法。
- 样条插值对齐：用更高阶的曲线拟合，适合非线性运动。但计算量大，实时性差。
我一般这样选：
- 低速场景（比如室内扫地机）：最近邻就够了。
- 中高速场景（比如自动驾驶、无人机）：线性插值。
- 高动态场景（比如机械臂末端、高速飞行器）：样条插值。
我曾经踩过一个坑：在无人机上做VIO，IMU和相机用最近邻对齐。无人机悬停时没问题，一做大机动飞行，轨迹就开始飘。后来换成线性插值，问题解决了。原因是最近邻在高速运动时，时间误差会被放大，导致IMU积分和视觉观测对不上。
3.3 插值策略
插值不是随便插的。不同传感器，插值策略不一样。
3.3.1 IMU插值
IMU数据是角速度和加速度。这两个量在短时间内变化剧烈，尤其是角速度。线性插值其实不太够用。
我推荐用「四元数球面线性插值（SLERP）」来处理姿态相关的量。对于加速度，如果运动不是特别剧烈，线性插值也能凑合。
// 伪代码：IMU四元数SLERP插值
Quaternion slerp(Quaternion q1, Quaternion q2, float t) {
float cosTheta = q1.dot(q2);
if (cosTheta < 0) {
q2 = -q2;
cosTheta = -cosTheta;
}
float theta = acos(cosTheta);
float sinTheta = sin(theta);
float scale1 = sin((1 - t) * theta) / sinTheta;
float scale2 = sin(t * theta) / sinTheta;
return q1 * scale1 + q2 * scale2;
}
3.3.2 LiDAR点云插值
LiDAR点云是逐点扫描的。一个扫描周期内，激光雷达本身也在运动。如果不做运动补偿，点云会变形。
我的做法是：利用IMU数据，对每个激光点的时间戳做插值，把点云补偿到同一个时刻。具体来说，就是用IMU的角速度和加速度，估计出每个激光点对应的位姿，然后做坐标变换。
核心思路：LiDAR点云的运动补偿，本质上是「时间戳对齐」的延伸。每个激光点都有自己的时间戳，我们需要把它对齐到扫描起始时刻或扫描结束时刻。
3.3.3 相机图像插值
相机图像是整帧曝光的。但曝光本身需要时间（滚动快门尤其明显）。
对于全局快门相机，取曝光中间时刻作为时间戳就行。对于滚动快门，每一行曝光时间不同，需要逐行插值。这个比较复杂，我一般建议直接换全局快门相机，省心。
3.4 一张图看懂时间同步
下面这张图，是我自己总结的时间同步知识体系。你看一眼，心里就有数了。
3.5 实战建议
最后，给几个实战中的建议：
- 先看硬件手册：买传感器之前，先确认它支不支持硬件同步。支持的话，怎么接线、怎么配置，手册里都有。
- 统一时间基准：所有传感器的时间戳，最终都要转换到同一个时间基准上。我习惯用UTC时间，或者系统启动后的单调递增时间。
- 留好时间戳字段：在数据结构里，一定要保留原始时间戳和校正后的时间戳。调试的时候，这两个字段能帮你快速定位问题。
- 别迷信高精度：不是所有场景都需要微秒级同步。先评估你的运动速度和精度要求，再决定同步方案。过度设计也是坑。
一个小经验：如果你用的是ROS，可以试试message_filters里的ApproximateTime策略。它能在没有硬件同步的情况下，自动找到时间上最接近的消息。虽然不是最优解，但胜在方便。
嗯，时间戳同步这块，内容不少。但核心就一句话：让所有传感器的时间戳，站在同一条起跑线上。硬件同步是捷径，软件同步是备胎，插值策略是补丁。三者结合，才能做出靠谱的轨迹评估。
可可精品资料库