3. 3D点云数据基础
在工业缺陷检测场景中，3D点云数据相较于传统2D图像具有天然的优势：它直接记录了物体表面的三维空间坐标，能够有效克服光照变化、阴影遮挡、物体堆叠带来的检测困难。无论是锂电池表面的凹坑、汽车漆面的橘皮纹，还是精密铸件的毛刺飞边，点云数据都能以毫米级甚至亚毫米级的精度呈现其几何特征。本章将系统讲解点云的数学表示、主流获取设备的原理与选型、工业级数据格式以及面向深度学习模型的预处理流程，为后续使用PointNet进行缺陷分类与分割打下坚实的数据基础。
3.1 点云的数学表示与属性通道
3.1.1 核心原理：从连续表面到离散采样
点云是物体表面在三维空间中的离散采样集合，每个点至少包含三维坐标信息 (x, y, z)。在工业检测中，这些坐标通常以毫米为单位，且坐标系遵循右手定则。除了坐标，点云往往携带额外的属性通道，这些通道对缺陷检测至关重要：
- 法向量 (nx, ny, nz)：描述局部表面的朝向，对区分划痕、凹坑和凸起有决定性作用。法向量可通过邻域点拟合平面计算，但需注意点云密度不均时法向估计的稳定性。
- 反射强度 (Intensity)：激光雷达或结构光设备返回的回波强度，对材质差异敏感。例如，金属表面的锈蚀区域与正常区域的反射强度差异明显。
- 颜色 (R, G, B)：由深度相机或附加彩色相机提供，有助于识别颜色类缺陷（如涂层色差）。
- 曲率 (Curvature)：局部表面弯曲程度，是识别焊缝、边缘毛刺的重要几何特征。
从数学角度看，一个包含N个点的点云可以表示为形状为 (N, C) 的矩阵，其中C为通道数。对于PointNet模型，输入通常为 (N, 3) 或 (N, 6)（含法向），这要求我们在预处理阶段将原始点云统一为固定维度。
3.1.2 判断方法：如何选择点云表示形式
| 表示形式 | 数据维度 | 工业检测适用性 | 典型场景 |
|---|---|---|---|
| 原始点云 (x,y,z) | 稀疏、无序 | 高（保留完整几何信息） | 精密铸件毛刺检测 |
| 深度图 (Depth Map) | 2D规则网格 | 中（可复用2D CNN） | 传送带上的快速分拣 |
| 体素栅格 (Voxel) | 3D规则网格 | 低-中（内存开销大） | 小尺寸高精度零件 |
| 三角网格 (Mesh) | 顶点+面片 | 中（适合表面测量） | 汽车覆盖件间隙面差 |
在工业缺陷检测中，原始点云是PointNet最自然的输入形式，因为它避免了体素化带来的量化误差，也无需像深度图那样依赖视角。但原始点云的无序性要求模型具备置换不变性，这正是PointNet设计的核心出发点。
3.1.3 案例拆解：锂电池表面凹坑检测的点云表示
某锂电池厂商需要检测电芯表面的微小凹坑（深度0.1-0.3mm，直径1-3mm）。使用结构光相机获取点云后，每个点包含 (x, y, z) 和反射强度。初始点云密度约为每平方毫米25个点，但凹坑边缘的点云法向量会发生剧烈变化。通过计算每个点的局部曲率，并设定曲率阈值0.05，可以快速筛选出疑似凹坑区域。然而，仅依赖曲率会产生大量误检（如灰尘颗粒）。进一步结合反射强度通道，发现凹坑区域的反射强度比正常区域低约15%，通过联合阈值判断，误检率降低了40%。
3.2 点云获取方式：激光雷达、结构光与深度相机
3.2.1 核心原理：三种主流传感器的物理机制
激光雷达 (LiDAR) 通过发射激光脉冲并测量回波时间（TOF）来计算距离。工业级激光雷达（如SICK、Keyence系列）精度可达±0.1mm，扫描速度较快，适合大尺寸工件（如汽车白车身）的全景扫描。其输出点云通常带有反射强度信息，但对高反光表面（如镜面）存在测量盲区。
结构光 (Structured Light) 通过投影特定编码图案（如正弦光栅、格雷码）到物体表面，利用相机拍摄变形图案，通过三角测量原理计算深度。结构光方案在近距离（0.1-2m）具有极高的精度（可达±0.01mm），非常适合精密小零件的缺陷检测。但环境光干扰较大，且对黑色吸光物体效果较差。
深度相机 (RGB-D Camera) 包括双目立体视觉和ToF方案。双目相机通过左右图像匹配计算视差，成本低，但依赖纹理特征，对光滑表面效果差。ToF深度相机（如Intel RealSense、Microsoft Kinect）通过测量红外光的飞行时间计算深度，帧率高，但分辨率较低，精度通常在±1-3mm，适合对精度要求不高的粗检场景。
3.2.2 选型对比：根据缺陷尺寸与产线节拍决策
| 指标 | 激光雷达 | 结构光 | 深度相机 (ToF) |
|---|---|---|---|
| 测量范围 | 0.5-100m | 0.1-2m | 0.2-6m |
| 精度 | ±0.1-1mm | ±0.01-0.1mm | ±1-3mm |
| 点云密度 | 中 | 高 | 低-中 |
| 抗环境光 | 强 | 弱 | 中 |
| 单次采集时间 | 秒级 | 0.1-1s | 毫秒级 |
| 典型缺陷类型 | 大尺寸变形、装配间隙 | 微小划痕、凹坑、毛刺 | 缺件、错位、大凹坑 |
3.2.3 实战场景：结构光相机在半导体封装缺陷检测中的应用
某半导体封装厂需要检测芯片引脚共面性（引脚高度差不超过±0.02mm）。选用分辨率1280×1024的结构光相机，配合蓝光光源（波长450nm）以减少环境光干扰。采集时，将芯片置于黑色吸光载物台上，投影正弦光栅（相移步数为12步）。初始点云包含约120万个点，但引脚区域仅占5%。通过ROI裁剪，将引脚区域点云提取出来，每个引脚约获得200个点。计算每个引脚点云的Z值平均值，并与基准平面比较，检测出共面性超差的引脚。整个检测节拍为1.5秒/颗，满足产线要求。
3.3 点云数据格式与工业存储标准
3.3.1 核心原理：从传感器输出到算法输入的格式转换
不同厂商的传感器输出格式各异，但工业界和学术界逐渐形成了几种通用格式。理解这些格式的底层存储结构，是编写高效数据加载器的前提。
- PCD (Point Cloud Data)：PCL库的原生格式，支持ASCII和二进制两种编码。文件头包含点数、通道数、数据类型（FLOAT32/FLOAT64）等元信息。二进制格式体积小、读取快，是工业部署的首选。
- PLY (Polygon File Format)：支持点云和三角网格，可存储顶点颜色、法向量等属性。在工业测量软件（如Geomagic）中广泛使用。
- LAS/LAZ：激光雷达领域的标准格式，主要用于测绘行业，包含分类标签（地面、植被等），在工业检测中较少使用。
- NPY/NPZ：NumPy的二进制格式，在深度学习训练中最为便捷。通常将点云数组保存为 (N, C) 的FLOAT32数组，配合元数据文件（如JSON）记录坐标系、单位等信息。
3.3.2 操作流程：PCD文件解析与内存布局优化
// PCD二进制格式解析要点
// 文件头示例：
# .PCD v0.7 - Point Cloud Data file format
VERSION 0.7
FIELDS x y z intensity
SIZE 4 4 4 4
TYPE F F F F
COUNT 1 1 1 1
WIDTH 100000
HEIGHT 1
VIEWPOINT 0 0 0 1 0 0 0
POINTS 100000
DATA binary
// 解析步骤：
// 1. 读取文件头，确定字段数和数据类型
// 2. 跳过文件头与DATA binary之间的换行符
// 3. 按字段顺序连续读取二进制数据
// 4. 将数据reshape为 (N, C) 数组在Python中，推荐使用 open3d.io.read_point_cloud() 或 pypcd 库进行解析。但为了极致性能，建议直接使用NumPy的 fromfile 方法读取二进制数据，避免PCL库的额外开销。
3.3.3 案例拆解：多传感器数据融合的格式统一
某汽车零部件产线同时使用激光雷达（扫描整个工件）和结构光相机（检测关键区域）。激光雷达输出PCD格式，结构光输出PLY格式。在数据融合阶段，需要将两组点云统一到同一坐标系。首先，通过标定板获取两个传感器之间的旋转矩阵R和平移向量t。然后，将结构光点云通过变换矩阵映射到激光雷达坐标系。最后，将两组点云合并为一个 (N, 6) 的数组（x,y,z + 法向），保存为NPY格式供PointNet训练。合并后的点云密度不均匀，激光雷达区域稀疏（约5点/cm²），结构光区域密集（约100点/cm²），这需要在预处理阶段进行自适应下采样。
3.4 点云预处理：从原始测量到模型输入
3.4.1 核心原理：为什么预处理决定模型上限
PointNet对输入点云有两个硬性要求：固定点数N和归一化坐标。但工业现场采集的原始点云往往包含大量噪声、离群点和背景点，且点数随工件尺寸变化。预处理的目标是：在保留缺陷特征的前提下，将原始点云转换为符合模型输入规范的张量。
3.4.2 操作流程：标准预处理管线
- 去噪：使用统计滤波（Statistical Outlier Removal），计算每个点到其K近邻的平均距离，若距离超过全局均值+λ倍标准差，则视为离群点剔除。λ通常取1.0-2.0。
- 下采样：体素滤波（Voxel Grid）将空间划分为固定尺寸的立方体，每个立方体保留重心点。体素尺寸根据缺陷最小尺寸设定，一般取缺陷直径的1/5-1/3。例如，检测0.2mm的划痕，体素边长设为0.05mm。
- 坐标归一化：将点云中心平移到原点，并缩放至单位球体范围。具体操作为：计算所有点的均值μ和标准差σ，对每个点执行 (p - μ) / σ。这能加速模型收敛。
- 固定点数采样：若点数大于N，使用最远点采样（Farthest Point Sampling, FPS）均匀选取N个点；若点数小于N，则随机重复采样填充至N。
3.4.3 案例拆解：传送带上工件点云的实时预处理
某食品包装产线需要检测包装盒的封口是否平整。深度相机以30fps采集点云，每帧包含约30万个点。预处理流程需在20ms内完成以满足产线节拍。初始方案使用体素滤波（体素边长2mm），耗时35ms，超时。优化方案：先通过直通滤波（PassThrough）裁剪出传送带区域，将点数降至8万；再使用体素滤波（边长2mm），点数降至2万；最后使用FPS采样至N=4096。优化后总耗时12ms。进一步分析发现，体素滤波是主要瓶颈，改用随机采样（Random Sampling）替代体素滤波，虽然均匀性略差，但耗时仅3ms，且缺陷检测准确率仅下降0.3%，在可接受范围内。
3.4.4 常见误区与总结复盘
- 误区一：过度去噪。统计滤波的λ值过小会误删真实缺陷点（如凹坑边缘的点），导致缺陷特征丢失。建议在验证集上测试不同λ值对检测精度的影响。
- 误区二：忽视坐标系一致性。训练时使用传感器坐标系，部署时却使用机器人基座坐标系，导致模型失效。务必在预处理中固定坐标系变换。
- 误区三：固定点数N设置过大。N=4096是PointNet的常用配置，但若工件本身点数只有2000，填充重复点会引入偏差。建议根据实际点数分布设置N，或采用动态N训练。
- 误区四：忽略点云密度变化。不同批次工件的点云密度可能因传感器温度、距离波动而变化。在训练时加入随机下采样数据增强，可提升模型对密度变化的鲁棒性。
总结而言，3D点云数据基础是PointNet工业落地的“地基”。从传感器选型到格式解析，再到预处理管线设计，每一个环节都直接影响最终缺陷检测的准确率与稳定性。建议在实际项目中，建立一套标准化的数据采集与预处理SOP，并针对具体缺陷类型进行参数调优，而非直接套用开源默认参数。