01
感知融合系统概述
什么是感知融合、为什么需要融合、典型架构(前融合/后融合/特征融合)
基础架构
02
传感器选型与标定避坑
激光雷达/摄像头/毫米波选型误区,联合标定常见错误(时间同步、外参精度)
硬件标定
03
数据预处理与时间同步
多传感器时间戳对齐(硬件触发 vs 软件同步),数据丢帧处理策略
同步预处理
04
目标检测与识别
YOLO、PointPillars部署精度损失,量化感知训练的必要性
模型量化
05
数据关联与匹配
匈牙利算法与卡尔曼滤波调参陷阱,ID Switch问题分析
关联滤波
06
状态估计与跟踪
匀速/匀加速模型局限,CTRV/CTRA选择,滤波发散处理
跟踪运动模型
07
传感器故障诊断与降级
失效检测(遮挡、污染、通信中断),降级策略(单传感器模式)
故障安全
08
系统延迟与实时性
端到端延迟分析(感知→规划→控制),延迟补偿(外推/内插)
实时延迟
09
资源消耗与性能优化
CPU/GPU/NPU算力分配,模型剪枝量化,内存泄漏排查
优化资源
10
通信中间件选型
ROS2 vs DDS vs 自研中间件,QoS配置对数据可靠性影响
通信中间件
11
功能安全与冗余设计
ISO 26262在感知融合中的应用,异构冗余(算法/传感器)
安全冗余
12
仿真与回放测试
场景构建遗漏(Corner Case),回放测试与实车测试差异
仿真测试
13
数据闭环与自动化
数据采集触发策略,自动标注工具链坑点,数据版本管理
数据闭环
14
OTA与模型更新
模型热更新方案,版本兼容性管理,回滚机制设计
OTA更新
15
多模态融合策略
前融合(Raw Data)带宽与算力挑战,特征融合维度爆炸
融合多模态
16
BEV感知与Transformer
BEV部署显存优化,Transformer在嵌入式设备推理加速
BEVTransformer
17
Occupancy Network
占用网络部署稀疏化处理,体素分辨率与精度平衡
占用网络稀疏
18
毫米波雷达点云处理
4D毫米波噪声特性,点云聚类与过滤工程技巧
毫米波点云
19
激光雷达点云处理
体素滤波参数选择,地面分割误检与漏检平衡
激光雷达分割
20
摄像头ISP与图像质量
ISP参数对感知影响,夜间/逆光场景预处理策略
ISP图像
21
多传感器标定工具链
标定场建设标准,在线标定与离线标定选择
标定工具
22
感知结果可视化
Rviz/Webviz二次开发,可视化对调试效率提升
可视化调试
23
日志与监控系统
关键指标监控(延迟、帧率、置信度),异常日志自动分析
监控日志
24
安全攻击与防御
传感器欺骗攻击(LiDAR Spoofing),对抗样本防御
安全攻击
25
法规与合规性
各国自动驾驶感知法规要求,数据隐私保护
法规隐私
26
团队协作与DevOps
代码规范与Code Review,CI/CD在感知项目中的应用
DevOps协作
27
硬件选型与计算平台
Orin/征程5/TDA4选型对比,异构计算架构设计
硬件平台
28
系统集成与联调
各模块接口定义,联调常见问题(数据流中断、内存冲突)
集成联调
29
路测与问题排查
路测数据采集规范,问题复现与根因分析流程
路测排查
30
项目交付与验收
交付物清单,性能指标验收标准,长期运维方案
交付验收