1. 课程导入
欢迎进入《激光雷达点云语义分割与跟踪工程》的学习。本课程面向自动驾驶、机器人感知与三维场景理解方向，围绕激光雷达（LiDAR）点云从“看得见”到“看得懂、跟得住”的完整工程链路展开。点云语义分割负责回答“每个点属于什么”，目标跟踪负责回答“同一个目标在时间上如何运动”，二者共同构成动态场景感知的核心能力。
一、学习目标
完成本课程后，学习者应具备以下能力：
- 理解点云数据特性：稀疏性、无序性、密度不均、旋转不变性需求。
- 掌握语义分割主流方法：点级方法、体素方法、投影方法及其工程取舍。
- 掌握多目标跟踪流程：检测关联、状态估计、轨迹管理与身份保持。
- 能够搭建从数据预处理、模型训练、推理部署到跟踪输出的完整工程管线。
- 能够针对误检、漏检、ID Switch、遮挡等典型问题进行分析与调优。
二、核心概念与整体框架
点云语义分割与跟踪工程可以抽象为一条“数据—感知—关联—输出”的信号链。原始点云经过预处理后进入分割网络，得到逐点类别标签；再通过聚类或检测头形成目标实例；随后进入跟踪模块，与历史轨迹进行数据关联，最终输出带稳定ID的时序目标序列。
从工程视角看，这条链路并非单向流水线，而是存在多次反馈：跟踪结果可以反向辅助分割的时序一致性，分割置信度也会影响关联代价矩阵的构建。理解这种耦合关系，是做好系统调优的关键。
三、典型应用场景
点云语义分割与跟踪在多个领域具有直接落地价值：
| 应用场景 | 分割关注对象 | 跟踪关注目标 | 典型指标 |
|---|---|---|---|
| 自动驾驶感知 | 车辆、行人、骑行者、道路 | 动态交通参与者 | mIoU、MOTA |
| 机器人导航 | 可通行区域、障碍物 | 移动人员与设备 | IoU、ID Switch |
| 智慧交通路侧感知 | 多类交通目标 | 跨相机/雷达目标 | 召回率、轨迹完整度 |
| 工业AGV与仓储 | 货架、托盘、人员 | 叉车与作业人员 | 实时性、误检率 |
四、方法流程与工程要点
一个可复现的工程流程通常包含以下阶段：
- 数据准备：标定外参、时间同步、点云去畸变，构建训练/验证/测试集。
- 预处理：体素降采样、地面分割、ROI裁剪，控制输入规模。
- 分割训练：选择点级、体素或投影网络，设计类别权重与损失函数。
- 实例化：基于语义结果聚类或使用检测头输出3D框。
- 跟踪关联：构建代价矩阵，结合运动与外观特征进行匹配。
- 轨迹管理：处理新生、丢失、遮挡与ID保持。
- 部署优化：TensorRT量化、多线程流水线、延迟与吞吐平衡。
工程提示：语义分割与跟踪的接口设计决定了系统上限。若分割输出的实例掩码不稳定，跟踪阶段的关联代价会剧烈波动，导致ID Switch显著上升。因此，实例化质量往往比单纯提升mIoU更影响最终跟踪效果。
五、常见误区与复盘
误区一：只关注分割精度，忽略时序一致性。单帧mIoU高并不代表跟踪稳定，帧间抖动会直接破坏关联。
误区二：把跟踪当作独立后处理。实际上，跟踪反馈可以用于平滑分割结果，二者应联合设计。
误区三：忽视点云密度随距离衰减。远处目标点数极少，分割与跟踪都容易失效，需要距离自适应策略。
复盘时建议从三个维度检查：数据层面是否存在标定误差与时间不同步；模型层面是否存在类别不平衡与过拟合；系统层面是否存在延迟累积与资源竞争。只有把分割、实例化、跟踪视为一个整体，才能构建真正可用的点云感知系统。
# 典型工程配置片段（示意）
pipeline:
preprocess:
voxel_size: 0.1
ground_removal: true
segmentation:
backbone: sparse_conv
num_classes: 8
tracking:
association: hungarian
max_age: 3
min_hits: 2
本课程后续将沿着这条主线，逐层深入数据、模型、跟踪与部署细节，帮助你把点云从原始坐标转化为可跟踪、可决策的语义目标。