4、感知模块联调：感知模块架构（Detection、Tracking、Fusion）、Camera与Lidar数据流对接、可视化调试工具

感知模块，说白了就是自动驾驶系统的「眼睛」和「大脑」的结合体。它负责回答三个核心问题：「前面有什么？」「它在哪里？」「它接下来会做什么？」。今天我们就来聊聊Apollo里感知模块的联调，我会把我在项目中踩过的坑和积累的经验一并分享出来。

4.1 感知模块的整体架构

Apollo的感知模块，我个人习惯把它拆成三个子模块：Detection（检测）、Tracking（跟踪）、Fusion（融合）。这三个模块是串行工作的，但数据流却非常复杂。

嗯，这里要注意：Detection和Tracking是每个传感器各自独立做的，而Fusion则是把多个传感器的结果合并到一起。你想想看，如果Camera看到一个行人，Lidar也看到一个行人，怎么确定它们是同一个人？这就是Fusion要干的事。

4.2 Camera与Lidar数据流对接

数据流对接，是联调中最容易出问题的地方。我刚开始做的时候，经常遇到「Camera检测到了障碍物，但Lidar那边死活没数据」的情况。后来发现，问题出在时间戳对齐上。

4.2.1 时间同步

Camera和Lidar的采样频率不一样。Camera通常是10-30fps，Lidar是10-20Hz。如果时间戳不对齐，融合出来的结果就是「张冠李戴」。

举个例子，Camera的topic是/apollo/sensor/camera/obstacle，Lidar的topic是/apollo/sensor/lidar/compensator/pointcloud。在融合模块的配置里，我会这样写：

fusion_config {
  camera_topic: "/apollo/sensor/camera/obstacle"
  lidar_topic: "/apollo/sensor/lidar/compensator/pointcloud"
  time_diff_threshold: 0.05  // 50ms以内算同步
}

4.2.2 坐标变换

Camera和Lidar安装位置不同，它们的坐标系也不同。Camera是像素坐标系，Lidar是三维笛卡尔坐标系。要把它们的数据融合到一起，必须做坐标变换。

Apollo里用Transform模块来处理这个。我记得有一次，我忘了更新Camera的外参标定文件，结果融合出来的障碍物位置总是偏左半米。排查了半天才发现是标定文件过期了。

坐标系	传感器	变换矩阵	说明
Camera	像素坐标 (u, v)	内参矩阵 K	像素 → 归一化平面
Lidar	三维坐标 (x, y, z)	外参矩阵 T	Lidar → 车辆坐标系
车辆	车辆坐标系	车辆位姿	车辆 → 世界坐标系

4.3 可视化调试工具

调试感知模块，光看日志是不够的。你想想看，一个障碍物的检测框画偏了，日志里可能只显示一个坐标偏差，但可视化工具里一眼就能看出来。

4.3.1 Apollo自带的Dreamview

Dreamview是Apollo的官方可视化工具。启动方式很简单：

# 启动Dreamview
bash scripts/bootstrap.sh

# 打开浏览器访问
http://localhost:8888

在Dreamview里，你可以看到Camera的检测框、Lidar的点云、融合后的障碍物列表。我个人习惯把「Camera障碍物」和「Lidar障碍物」两个图层同时打开，这样能直观地看到哪个传感器漏检了。

4.3.2 使用Cyber Monitor查看数据流

有时候数据流没通，Dreamview里一片空白。这时候我会用cyber_monitor来检查：

# 查看所有channel
cyber_monitor

# 查看特定channel的实时数据
cyber_monitor -c /apollo/sensor/lidar/compensator/pointcloud

嗯，这里要注意：如果某个channel的FrameRatio显示为0，说明没有数据在发布。这时候就要去检查上游模块是否正常运行了。

4.3.3 自定义可视化脚本

对于更复杂的调试场景，我会写一个Python脚本来可视化。比如，我想看某个障碍物的跟踪轨迹：

import matplotlib.pyplot as plt
from cyber.python.cyber_py3 import cyber
from modules.perception.proto.perception_obstacle_pb2 import PerceptionObstacles

def callback(msg):
    for obstacle in msg.perception_obstacle:
        x = obstacle.position.x
        y = obstacle.position.y
        plt.scatter(x, y, c='red')
    plt.pause(0.01)

cyber.init()
node = cyber.Node("visualizer")
node.create_reader("/apollo/perception/obstacles", 
                   PerceptionObstacles, callback)
cyber.spin()

4.4 联调实战：一个完整的调试流程

假设你现在遇到了一个问题：车辆在行驶过程中，感知模块偶尔会「丢帧」——某个障碍物突然消失，然后又出现。怎么排查？

1. 第一步：确认是哪个传感器丢的

   在Dreamview里分别打开Camera和Lidar的检测结果。如果只有Camera丢帧，那问题出在Camera检测模块；如果两者都丢，可能是融合模块的问题。

2. 第二步：检查时间戳

   用cyber_monitor查看Camera和Lidar的时间戳。如果时间差超过50ms，说明时间同步有问题。

3. 第三步：查看日志

   在/apollo/data/log/目录下，找到perception.INFO文件。搜索WARNING或ERROR关键字。我遇到过一种情况，日志里显示track lost due to low confidence，说明是跟踪模块的置信度阈值设得太高了。

4. 第四步：调整参数

   如果确认是跟踪模块的问题，可以调整tracking.conf中的min_confidence参数。我一般从0.5开始调，逐步降低到0.3，直到丢帧现象消失。

好了，关于感知模块联调的核心内容就这些。从架构到数据流，再到可视化调试，每一步都有它的门道。记住，调试感知模块最忌讳的就是「瞎猜」——一定要用工具和数据说话。