01
课程导论与行业全景
什么是场景重建?从数据到模型的完整链路、行业应用(自动驾驶、AR/VR、数字孪生)、课程目标与学习路径。
全景导论
02
传感器选型与数据采集基础
相机(RGB/深度/事件相机)、LiDAR(机械式/固态)、IMU与轮速计、传感器同步与标定基础。
传感器采集
03
相机成像模型与标定
针孔相机模型、畸变模型(径向/切向)、张正友标定法、实战:使用OpenCV进行相机标定。
相机标定
04
多传感器联合标定
Camera-LiDAR联合标定原理、Camera-IMU标定(Kalibr工具)、LiDAR-IMU标定、实战:标定结果验证与可视化。
联合标定多传感器
05
数据采集实战
硬件平台搭建(手持/车载/无人机)、数据采集软件(ROS bag/自定义录制)、数据质量检查与预处理。
实战ROS
06
图像特征提取与匹配
SIFT/SURF/ORB特征、特征匹配(暴力匹配/FLANN)、RANSAC剔除误匹配、实战:图像拼接。
特征匹配
07
运动恢复结构(SfM)原理
对极几何与基础矩阵、三角化、PnP问题、增量式SfM与全局式SfM。
SfM几何
08
SfM实战:使用COLMAP
使用COLMAP进行稀疏重建、重建结果分析、点云导出与可视化。
COLMAP稀疏重建
09
多视图立体匹配(MVS)
MVS问题定义、PatchMatch Stereo、基于深度学习的MVS(MVSNet系列)、实战:稠密重建。
MVS稠密
10
深度图融合与表面重建
深度图一致性检查、TSDF融合算法、Poisson表面重建、实战:从点云到网格。
TSDF网格
11
SLAM基础与前端里程计
SLAM问题数学描述、视觉里程计(特征点法/直接法)、LiDAR里程计(ICP/NDT)、IMU预积分。
SLAM里程计
12
后端优化与图优化
图优化理论基础(g2o/Ceres)、Bundle Adjustment、位姿图优化、实战:使用g2o优化小规模场景。
图优化BA
13
视觉SLAM系统:ORB-SLAM3
ORB-SLAM3系统架构、单目/双目/RGB-D模式、回环检测与地图复用、实战:运行ORB-SLAM3。
ORB-SLAM3视觉
14
LiDAR SLAM系统
LOAM系列算法演进、A-LOAM与LeGO-LOAM、LIO-SAM(LiDAR-IMU融合)、实战:运行LIO-SAM。
LiDARLOAM
15
语义SLAM与动态场景处理
语义分割基础(SegNet/DeepLab)、动态物体剔除、语义地图构建、实战:动态SLAM。
语义动态
16
神经辐射场(NeRF)原理
NeRF核心思想(体渲染、位置编码)、NeRF-W与Instant-NGP、从稀疏视图到新视角合成。
NeRF神经渲染
17
NeRF实战:Instant-NGP
使用Instant-NGP训练自定义场景、导出NeRF为网格模型、NeRF与SfM的协同工作流。
Instant-NGP实战
18
3D高斯泼溅(3DGS)原理
3DGS核心思想(可微渲染、高斯原语)、与NeRF的对比、3DGS的优化策略。
3DGS高斯泼溅
19
3DGS实战:训练与导出
使用3DGS训练场景、实时渲染与编辑、导出为点云/网格。
3DGS渲染
20
大规模场景重建
分块重建策略、并行计算与分布式处理、层级细节(LOD)技术、实战:城市级场景重建。
大规模LOD
21
纹理映射与材质重建
UV展开与纹理映射、纹理合成与修复、PBR材质重建、实战:为重建模型添加纹理。
纹理PBR
22
场景理解与语义标注
点云语义分割(PointNet++/RandLA-Net)、实例分割、场景图构建、实战:语义标注工具。
语义标注
23
场景编辑与修复
网格修复(孔洞填充/去噪)、场景补全(基于学习的方法)、场景重光照、实战:使用Blender编辑。
编辑修复
24
重建质量评估
几何精度评估(MSE/Chamfer距离)、视觉质量评估(PSNR/SSIM/LPIPS)、基准数据集(DTU/Tanks and Temples)。
评估指标
25
数据压缩与传输
点云压缩(G-PCC/VPCC)、网格压缩(Draco)、流式传输策略、实战:使用Draco压缩模型。
压缩Draco
26
Web端3D可视化
Three.js基础、加载与渲染重建模型、交互控制(旋转/缩放/测量)、实战:构建Web查看器。
Three.jsWeb
27
移动端部署
移动端推理优化(TensorFlow Lite/ONNX Runtime)、AR Quick Look与SceneKit、实战:iOS/Android AR展示。
移动端AR
28
行业案例实战(一)自动驾驶
自动驾驶场景重建(车道线/路沿/交通标志)、高精地图构建、实战:使用nuScenes数据集。
自动驾驶nuScenes
29
行业案例实战(二)数字文保
数字文物保护(石窟/壁画/雕塑)、室内场景重建(家具/房间)、实战:使用自定义数据集。
文保室内
30
课程总结与未来展望
全流程回顾、前沿技术(4D重建/生成式重建)、职业发展建议、结业项目指导。
总结展望