1. 课程导论与预备知识：多视角视觉的应用场景与数学基础
大家好，欢迎来到《多视角标定与空间映射：从基础到落地》。我是这门课的主讲，一个在计算机视觉和SLAM领域摸爬滚打了十来年的工程师。今天咱们先不急着写代码，把地基打牢。
多视角视觉，说白了就是让机器像人一样，用两只（或多只）眼睛看世界，然后算出物体的三维位置。你想想看，人眼天生就是立体视觉系统，大脑通过左右眼的视差来感知深度。计算机要做的，就是模拟这个过程。
1.1 多视角视觉的应用场景
我这些年做过的项目，几乎都离不开多视角视觉。它不是什么实验室里的花架子，而是实打实的工业级技术。咱们看看几个典型的落地场景：
AR/VR：虚实融合的基石
AR眼镜为什么能把虚拟的恐龙放在你家的茶几上？因为它得先知道茶几在哪儿、你的头在往哪儿转。这背后就是多视角相机在做空间定位和三维重建。我记得2016年做第一个AR项目时，最头疼的就是虚拟物体在真实场景里“飘”，后来才发现是标定参数差了0.1个像素。嗯，细节决定成败。
自动驾驶：车轮上的眼睛
一辆自动驾驶汽车通常有6-12个摄像头。这些摄像头需要联合标定，才能把不同视角的画面融合成统一的鸟瞰图。我曾经在高速测试车上遇到过一个问题：前视和侧视相机拼接出来的车道线，在接缝处总是错位。查了三天，发现是其中一个相机的安装角度在颠簸中变了0.5度。从那以后，我养成了每次出车前做快速标定校验的习惯。
工业检测：毫米级的精度
在手机屏幕的缺陷检测中，单个相机往往看不全。多视角系统可以从不同角度打光、成像，然后通过三维重建找出微米级的划痕。这个场景对精度的要求极高，标定板稍微脏一点，结果就全偏了。避坑指南：工业现场一定要用防静电、耐油污的标定板。
| 应用场景 | 核心需求 | 典型精度要求 | 我的经验教训 |
|---|---|---|---|
| AR/VR | 实时定位、虚实融合 | 厘米级 | 标定参数漂移导致虚拟物体抖动 |
| 自动驾驶 | 多相机融合、鸟瞰图 | 厘米级 | 安装角度变化导致拼接错位 |
| 工业检测 | 高精度三维重建 | 微米级 | 标定板污染影响精度 |
1.2 课程整体架构
这门课一共30章，我把它分成了四个阶段。你跟着走，就能从零搭建起一个完整的多视角系统。
1.3 必备数学基础：坐标系与刚体变换
好了，咱们进入正题。多视角视觉的数学基础，说白了就是两件事：坐标系和刚体变换。你想想看，一个三维点在世界坐标系里，被相机拍到后，变成了图像上的一个像素。这中间经历了多少次坐标变换？答案是：至少三次。
坐标系：世界的骨架
我习惯把坐标系想象成“参考框架”。常见的坐标系有四种：
- 世界坐标系： 描述物体在真实世界中的位置。它是固定的，所有其他坐标系都相对于它定义。
- 相机坐标系： 以相机光心为原点，Z轴指向相机前方。物体从世界坐标系变换到相机坐标系，就是通过刚体变换完成的。
- 图像坐标系： 在成像平面上，以光轴与平面的交点为原点。这是从三维到二维的投影过程。
- 像素坐标系： 图像在计算机中的存储方式，原点在左上角。这里涉及缩放和平移。
刚体变换：旋转与平移
刚体变换，就是物体在三维空间里“动”了一下，但形状不变。它由两部分组成：旋转和平移。用数学公式表示就是：
P' = R * P + t其中，P是原始点，P'是变换后的点，R是旋转矩阵，t是平移向量。就这么简单？嗯，但实际用起来坑不少。
旋转矩阵R有9个参数，但自由度只有3。这意味着它必须满足正交性和行列式为1的约束。我早期做项目时，直接优化9个参数，结果矩阵变得不伦不类，重建出来的物体都扭曲了。后来改用四元数或旋转向量，才解决了这个问题。
| 表示方法 | 参数数量 | 优点 | 缺点 | 我的推荐 |
|---|---|---|---|---|
| 旋转矩阵 | 9 | 直观，易于组合 | 冗余，需满足约束 | 不推荐直接优化 |
| 欧拉角 | 3 | 参数少，直观 | 万向锁问题 | 仅用于人机交互 |
| 四元数 | 4 | 无奇异性，插值平滑 | 不够直观 | 强烈推荐 |
| 旋转向量 | 3 | 紧凑，无约束 | 有奇点 | 优化时常用 |
齐次坐标：让变换更优雅
你可能会问：旋转和平移能不能写成一个矩阵？当然可以。用齐次坐标，把三维点变成四维向量，刚体变换就变成了一个4x4的矩阵乘法：
[P'] = [R t] * [P]
[1 ] [0 1] [1 ]这样做的好处是，多个变换可以连乘成一个矩阵。比如，从世界坐标系到像素坐标系的完整变换：
P_pixel = K * [R|t] * P_world其中K是相机内参矩阵，[R|t]是外参矩阵。这个公式，就是多视角视觉的基石。你会在后面的每一章里反复见到它。