课程导入：三维重建的定义、发展历程、应用领域与学习路径
三维重建（3D Reconstruction）是指通过传感器采集现实世界物体的几何形状、表面纹理与光学属性信息，经过数学建模与计算处理，在数字空间中生成可交互、可量测、可渲染的三维模型的技术体系。它横跨计算机视觉、计算机图形学、光学测量、嵌入式系统与高性能计算等多个学科，是连接物理世界与数字世界的核心桥梁。从早期基于结构光的工业测量，到今天融合深度学习与神经渲染的自动化重建，这项技术已经深刻改变了我们感知、记录和交互世界的方式。本章作为全课程的开篇，将系统梳理三维重建的定义内涵、技术演进脉络、典型应用场景，并为学习者规划一条从基础到前沿的完整学习路径。
三维重建的定义与核心内涵
三维重建的本质是一个"逆成像"过程——传统相机将三维世界投影为二维图像，而三维重建则试图从多张二维图像或深度传感器数据中，恢复出场景的三维几何结构与外观属性。一个完整的三维重建系统通常包含四个核心模块：数据采集（获取原始观测）、位姿估计（确定传感器在空间中的位置与朝向）、稠密重建（生成完整的几何表面）以及纹理映射（赋予模型真实外观）。这四个模块环环相扣，任何一个环节的精度不足都会向下传递并放大误差。
从数学角度看，三维重建可以形式化为一个最优化问题：给定一组观测数据 \( I = \{I_1, I_2, ..., I_N\} \)，求解场景几何 \( S \) 和相机参数 \( P \)，使得重投影误差最小化。这一框架贯穿了从传统多视角几何到现代神经渲染的全部方法。值得注意的是，三维重建并非单一算法，而是一条完整的技术流水线，实际工程中需要根据传感器类型、场景规模、精度要求和实时性约束，灵活组合不同模块。
发展历程：从经典几何到神经渲染
三维重建的技术演进可以划分为四个主要阶段，每个阶段都由传感器硬件突破或算法理论创新驱动。
| 阶段 | 时间跨度 | 代表性方法 | 核心传感器 | 主要瓶颈 |
|---|---|---|---|---|
| 萌芽期 | 1960s-1980s | 立体视觉、光度立体 | 模拟相机 | 计算能力不足，仅限实验室 |
| 经典几何期 | 1990s-2010s | SfM、Bundle Adjustment、MVS | 数码相机、激光扫描仪 | 纹理弱场景失效、计算耗时 |
| 实时与消费级期 | 2010s-2020 | KinectFusion、ORB-SLAM、RGB-D重建 | 深度相机、消费级LiDAR | 大场景漂移、动态物体干扰 |
| 神经渲染期 | 2020-至今 | NeRF、3D Gaussian Splatting | 多相机阵列、手机影像 | 训练速度、实时性、算力需求 |
从技术路线来看，经典方法以多视角几何为理论基础，通过特征匹配和三角化恢复稀疏点云，再经扩散和融合得到稠密模型。这一路线在纹理丰富、光照稳定的场景中表现优异，但在弱纹理、高反光或重复纹理场景中容易失效。2020年提出的NeRF（神经辐射场）彻底改变了这一局面——它将场景编码为连续的五维函数（位置+方向），通过体素渲染方程进行可微渲染，实现了照片级真实感的新视角合成。2023年出现的3D Gaussian Splatting（3DGS）则进一步将场景表示为数百万个三维高斯分布，通过快速光栅化实现实时渲染，将重建质量与交互速度提升到了新的高度。
典型应用领域与工程需求
三维重建技术已经渗透到众多行业，不同领域对重建精度、实时性、鲁棒性和成本的要求差异巨大。理解这些需求差异，是选择技术方案的前提。
AR/VR与元宇宙
AR/VR场景要求重建系统具备实时或准实时能力，通常需要在移动设备或头显上以30-60 FPS运行。这里的三维重建更多指"空间感知"——实时扫描环境几何，用于遮挡处理、物理交互和场景理解。典型方案包括苹果ARKit的LiDAR扫描、微软HoloLens的混合现实定位。精度要求通常在厘米级，但对延迟极其敏感。
自动驾驶与机器人
自动驾驶依赖多传感器融合（LiDAR+相机+IMU+毫米波雷达）进行实时三维环境感知。这里的重建目标不是生成精美的纹理模型，而是获得稠密深度图、语义分割和动态物体追踪。高精地图的离线重建则要求厘米级精度，通常使用专业测绘车辆采集。这一领域对算法的鲁棒性要求极高——雨天、逆光、隧道等极端工况都必须稳定工作。
文物保护与文化遗产数字化
敦煌莫高窟、兵马俑等不可再生文化遗产的数字化保护，是三维重建最具社会价值的应用之一。这类场景通常使用高精度激光扫描+多视角摄影的组合方案，精度要求达到毫米级甚至亚毫米级。挑战在于：大型场景（如整座石窟）的数据量可达TB级，纹理采集需要专业灯光方案以避免反光，且重建过程不能对文物造成任何接触性损伤。2022年"数字敦煌"项目完成了数百个洞窟的高精度重建，为这一领域树立了标杆。
医疗与人体重建
医疗领域的重建分为两类：一是基于CT/MRI等医学影像的器官三维重建，用于手术规划和可视化；二是基于深度相机或光栅扫描的人体表面重建，用于矫形器设计、烧伤面积评估和整形外科。医疗重建对精度和生物相容性要求极高，且涉及隐私合规问题。近年来，基于单目RGB相机的无接触人体重建技术（如SMPL参数化模型拟合）在远程医疗和运动分析中获得了广泛应用。
| 应用领域 | 核心传感器 | 精度要求 | 实时性 | 主要挑战 |
|---|---|---|---|---|
| AR/VR | RGB-D、双目相机 | 厘米级 | 30-60 FPS | 动态场景、延迟控制 |
| 自动驾驶 | LiDAR+相机+IMU | 厘米级（高精地图） | 10-30 FPS | 恶劣天气、传感器标定 |
| 文物保护 | 激光扫描+高分辨率相机 | 毫米级 | 离线 | 超大场景、纹理真实感 |
| 医疗 | CT/MRI、深度相机 | 亚毫米级 | 离线/准实时 | 隐私合规、软组织形变 |
| 工业检测 | 结构光、条纹投影 | 微米级 | 离线 | 高反光表面、复杂几何 |
课程目标与学习路径规划
本课程的目标是培养学员具备独立设计、搭建和优化三维重建系统的工程能力。课程共30章，按照"理论奠基→算法深入→工程实战→前沿探索"四个阶段递进，每一章都配有可运行的代码示例和真实数据集练习。
阶段一：基础理论（第1-6章）
这一阶段聚焦三维重建的数学与物理基础。学员将掌握针孔相机模型、镜头畸变模型、坐标系变换（世界系/相机系/像素系）、对极几何与基础矩阵、特征提取与匹配（SIFT/ORB/SuperPoint）等核心概念。学完本阶段，学员应能独立完成一个"两视图稀疏重建"的小项目，从两张照片中恢复出相机的相对位姿和场景的稀疏点云。
阶段二：核心算法（第7-18章）
这是课程的主体部分，覆盖增量式SfM（COLMAP）、视觉SLAM（ORB-SLAM3）、多视图立体匹配（MVS）、深度图融合、TSDF体素融合、NeRF与3D Gaussian Splatting等主流算法。每章不仅讲解算法原理，还会深入分析源码结构、参数调优策略和常见失败模式。例如，在SfM章节中，我们会详细拆解COLMAP的增量注册策略、三角化鲁棒性检验和Bundle Adjustment的LM优化实现。
阶段三：工程实战（第19-26章）
这一阶段将学员带入真实工程场景。内容包括：多传感器（相机+LiDAR+IMU）联合标定、重建管线搭建（从数据采集到模型发布的完整流程）、大规模场景的分块重建与合并、纹理映射与模型简化、以及基于CUDA的实时重建加速。学员将完成一个"室内房间完整重建"的课程项目，从硬件选型、数据采集到最终交付可交互的3D模型。
阶段四：前沿与综合（第27-30章）
最后四章聚焦学术界和工业界的最新动态：动态场景重建（4D重建）、大尺度城市级重建、基于扩散模型的生成式重建、以及边缘设备上的轻量化部署。同时，课程会安排一个综合实战项目——学员自选一个应用场景（如文物扫描、室内导航、人体建模），完成从需求分析到系统交付的全流程开发。
案例拆解：从手机视频到可交互3D模型
为了帮助学员建立对三维重建全流程的直观认知，这里以一个典型的"手机视频重建"案例来串联本章所学的概念。假设我们使用一部普通手机（iPhone 15 Pro）围绕一个桌面雕塑拍摄了2分钟的环绕视频，目标是生成一个可在网页端交互浏览的3D模型。
初始条件与约束：手机分辨率3840×2160@30fps，视频时长120秒，共3600帧。雕塑尺寸约30cm×30cm×40cm，桌面环境光照均匀但存在一定反光。无外部定位设备，仅依赖手机自身IMU和视觉特征。
处理流程：
- 数据预处理：使用FFmpeg按2帧/秒抽帧，得到240张图像。检查图像清晰度，剔除模糊帧（约剔除15张）。使用COLMAP的自动标定模块估计相机内参（焦距、主点、畸变系数）。
- 稀疏重建：运行COLMAP的SfM流程，提取SIFT特征并匹配，经过增量式重建得到225个相机位姿和约50万稀疏点云。此步骤耗时约8分钟（RTX 4090）。
- 稠密重建：基于稀疏结果运行MVS（PatchMatch Stereo），生成深度图并融合为稠密点云，约1200万点。耗时约25分钟。
- 表面重建与纹理映射：使用Poisson表面重建生成网格（约300万三角面片），随后进行纹理映射，输出OBJ+MTL格式模型。耗时约10分钟。
- 后处理与发布：使用MeshLab进行网格简化至50万面片，并烘焙2K纹理贴图。最终通过Three.js部署为网页可交互模型。
结果与复盘：最终模型在雕塑主体区域精度良好（目测误差<2mm），但底部与桌面接触区域出现空洞，原因是拍摄角度受限。反光区域（雕塑的金属底座）产生了少量飞点，通过统计滤波去除。整个流程耗时约50分钟，其中SfM和MVS占用了80%的计算时间。复盘发现，如果拍摄时增加一个低角度环绕轨迹，底部空洞问题可以完全避免——这提示我们，数据采集质量往往比算法参数更影响最终结果。
这个案例完整展示了三维重建从原始数据到最终产品的全链路，也暴露了实际工程中常见的挑战：视角覆盖不足、材质反光、计算资源瓶颈等。在后续章节中，我们将逐一深入解决这些问题。