1、课程导入：RGBD相机的基本概念、发展历程、主流型号及典型应用场景
欢迎进入《RGBD相机标定与深度数据采集实战》课程。在机器人导航、AR/VR交互、三维重建等前沿领域，RGBD相机已成为感知环境的核心传感器。本章作为课程起点，将系统梳理RGBD相机的基本概念、技术演进脉络、当前主流硬件平台以及典型应用场景，并明确本课程的学习目标与最终实战任务。理解“什么是RGBD”以及“为什么需要RGBD”，是后续掌握标定原理与深度数据采集技术的基石。
上图清晰地展示了RGBD相机的核心概念框架：它同时输出RGB彩色图像与Depth深度图像，并通过标定建立两者之间的精确映射关系。深度图像的获取方式主要分为结构光、ToF（Time of Flight，飞行时间）和双目立体视觉三大技术路线，不同技术路线决定了相机的测量范围、精度、帧率以及适用场景。本课程将围绕这些技术细节展开深入讲解。
1.1 RGBD相机的基本概念与核心原理
RGBD相机，顾名思义，是一种能够同步采集彩色图像（RGB）和深度图像（Depth）的视觉传感器。其中，RGB图像提供场景的颜色、纹理和边缘信息，而深度图像则提供每个像素点到相机光心的物理距离（通常以毫米为单位）。两者在时间戳上对齐、在空间上通过标定参数进行配准，从而形成具有三维空间信息的稠密点云数据。
深度成像的三种主流技术原理如下：
- 结构光（Structured Light）：通过投影仪向场景投射已知编码的红外光斑图案，利用红外相机捕捉被物体表面调制后的光斑畸变，通过三角测量原理计算深度。典型代表为第一代Kinect（Kinect v1）。其优点在于近距离（0.5m-3m）精度较高，成本相对较低；缺点是对环境光敏感，室外强光下性能急剧下降。
- ToF飞行时间（Time of Flight）：通过测量红外光脉冲从发射到接收的相位差或时间差来计算距离。典型代表为Kinect v2、部分Intel RealSense（如D435i）以及Orbbec Astra系列。ToF相机帧率较高（通常30fps），在中等距离（0.3m-6m）表现稳定，但分辨率相对较低，且存在多路径干扰问题。
- 双目立体视觉（Stereo Vision）：利用两个水平放置的普通RGB相机模拟人眼，通过匹配左右图像中的对应特征点，利用视差计算深度。典型代表为ZED相机、RealSense D400系列（主动红外投影辅助）。双目方案在室外自然光下表现良好，但计算量大，且对纹理稀疏区域（如白墙）匹配困难。
1.2 发展历程：从Kinect到现代智能传感器
RGBD相机的发展与消费级体感交互的需求密不可分。2010年，微软发布了第一代Kinect for Xbox 360，它由PrimeSense公司提供结构光技术方案，首次让普通开发者以低廉的价格获得高质量的深度数据流。这一突破直接催生了机器人领域和计算机视觉领域对RGBD数据的广泛研究。
2013年，微软发布了Kinect v2，采用ToF技术，深度分辨率提升至512×424，并显著改善了光照鲁棒性。虽然Kinect v2已于2017年停产，但其技术遗产深刻影响了后续的传感器设计。与此同时，Intel于2014年推出RealSense系列（如SR300、F200），主打近距离手势交互；2018年推出的D400系列采用主动红外双目立体视觉，成为目前学术界和工业界最常用的RGBD平台之一。国内厂商Orbbec（奥比中光）则凭借结构光和ToF双线布局，在机器人、刷脸支付、医疗影像等领域占据重要市场份额。
| 型号 | 技术路线 | 深度分辨率 | 工作距离 | 帧率 | 主要特点 |
|---|---|---|---|---|---|
| Kinect v1 | 结构光 | 640×480 | 0.8m-4.0m | 30fps | 历史经典，已停产 |
| Kinect v2 | ToF | 512×424 | 0.5m-4.5m | 30fps | ToF代表，已停产 |
| Intel RealSense D435i | 主动双目 | 1280×720 | 0.2m-3.0m | 90fps（深度） | 轻量、内置IMU，适合SLAM |
| Orbbec Astra Pro Plus | 结构光 | 640×480 | 0.6m-8.0m | 30fps | 国产高性价比，支持多平台SDK |
| ZED 2i | 双目 | 2208×1242 | 0.3m-20m+ | 15-100fps | 高分辨率，室外鲁棒 |
1.3 典型应用场景与实战价值
RGBD相机的应用场景已经渗透到多个行业。在机器人领域，RGBD相机是移动机器人避障、导航、物体抓取与操作的核心传感器。例如，在家庭服务机器人中，机器人通过深度数据识别地面障碍物、检测桌面上的物体位姿，从而完成抓取任务。在AR/VR领域，RGBD相机用于实时重建用户周围的三维环境，实现虚拟物体与真实场景的遮挡融合，提升沉浸感。在三维重建领域，手持式RGBD扫描仪（如EinScan系列）可以快速获取室内场景或物体的高精度模型，用于文物保护、建筑测绘和逆向工程。
此外，RGBD相机还在人机交互（手势识别、人体姿态估计）、自动驾驶（近距离盲区监测）、医疗康复（步态分析）等领域发挥着重要作用。然而，所有这些应用都建立在一个共同的前提之上：精确的相机标定。如果深度图像与彩色图像没有对齐，或者相机的内参（焦距、主点、畸变系数）不准确，那么后续的点云生成、目标检测和三维重建都会产生系统性误差。
1.4 课程学习目标与最终实战任务
本课程旨在帮助学员从零开始，系统掌握RGBD相机的标定原理与深度数据采集的完整流程。课程共分为30个章节，涵盖以下核心能力模块：
- 基础理论：相机成像模型、针孔模型、畸变模型、深度测量原理。
- 标定实战：使用棋盘格标定板进行单目内参标定、RGB-D外参标定、手眼标定（Eye-in-Hand / Eye-to-Hand）。
- 深度数据采集与处理：深度图滤波、点云生成、深度与彩色对齐、多帧融合。
- 高级应用：基于深度数据的物体位姿估计、SLAM中的深度图优化、以及工业级标定流程设计。
最终实战任务：学员将独立完成一个“桌面级机械臂抓取系统”的视觉模块搭建。具体任务包括：使用RealSense D435i相机，完成内参标定与RGB-D外参标定；采集目标物体的深度点云；通过点云处理提取物体三维位置与姿态；最后将位姿信息发送给机械臂完成抓取。该任务将综合运用本课程所有核心知识点，并模拟真实工程中的标定-采集-处理-应用全链路。