人脸识别原理：四大核心模块深度拆解
做边缘计算人脸识别，你得先搞懂人脸识别本身是怎么工作的。说白了，就是把一张人脸照片变成一串数字，然后跟数据库里的数字做对比。我刚开始接触这个领域时，也以为就是“拍个照，比对一下”这么简单。直到在第一个边缘项目上栽了跟头——光照一变，识别率直接掉到60%。
人脸识别系统通常包含四个核心模块：人脸检测、特征提取、人脸比对和活体检测。每个模块都有自己的坑，尤其是在资源受限的边缘设备上。
核心观点：边缘场景下，这四个模块不是简单的串联。你需要根据硬件资源、场景光照、实时性要求做取舍和优化。比如，在低功耗芯片上，检测模型可能要从MTCNN换成轻量级的MobileNet-SSD。
1. 人脸检测：找到脸在哪
人脸检测是第一步。你得先告诉系统“这张图里有脸，而且脸在哪个位置”。常用的方法有传统 Haar Cascade、基于深度学习的 MTCNN、以及轻量级的 RetinaFace 等。
我个人习惯在边缘设备上用 MTCNN 或 RetinaFace-MobileNet。为什么？因为它们在精度和速度之间平衡得比较好。我记得有一次在 RK3399 上跑 MTCNN，1080P 图像能跑到 30fps，但换成 RetinaFace 的完整版，直接掉到 8fps。
实战技巧：在边缘设备上，可以降低输入图像分辨率来加速检测。比如把 1080P 缩放到 640x480，检测速度能提升 2-3 倍，而精度损失通常不到 2%。
检测输出的是一个边界框（Bounding Box），包含 x、y、宽、高四个值。有时候还会输出 5 个关键点（眼睛、鼻子、嘴角），这对后续的人脸对齐很有用。
2. 特征提取：把脸变成一串数字
检测到人脸后，下一步是把人脸图像转换成一个特征向量（Feature Vector）。这个向量通常有 128 维、256 维或 512 维。说白了，就是给每张脸算一个“数字指纹”。
常用的特征提取网络有 FaceNet、ArcFace、CosFace 等。这些模型都基于卷积神经网络，输出的是一个固定长度的向量。
嗯，这里要注意：特征提取是整个系统里计算量最大的环节。在边缘设备上，我建议使用量化后的模型。比如把 FP32 的 ArcFace 量化成 INT8，推理速度能提升 3-4 倍，内存占用也减少 75%。
避坑指南：我曾经在一个项目中，直接拿 PC 上训练好的 FP32 模型部署到 Jetson Nano 上。结果推理一次要 800ms，完全没法用。后来换成 INT8 量化版本，降到 120ms，才勉强满足实时性要求。所以，模型量化不是可选项，而是必选项。
3. 人脸比对：算算两张脸有多像
有了特征向量，比对就简单了。常用的方法是计算两个向量之间的余弦相似度或欧氏距离。
公式其实很简单：
余弦相似度 = cos(θ) = (A · B) / (||A|| * ||B||)
欧氏距离 = sqrt(Σ(Ai - Bi)²)余弦相似度越接近 1，说明两张脸越像。通常我们会设一个阈值，比如 0.6 或 0.7。超过阈值就认为是同一个人。
我个人习惯用余弦相似度，因为它对向量长度不敏感。你想想看，如果光照变化导致特征向量的模长变了，欧氏距离会受影响，但余弦相似度不会。
| 比对方法 | 优点 | 缺点 | 边缘场景推荐 |
|---|---|---|---|
| 余弦相似度 | 对光照鲁棒，计算快 | 对极端角度敏感 | ⭐ 推荐 |
| 欧氏距离 | 直观，容易理解 | 受向量模长影响大 | 不推荐 |
| 马氏距离 | 考虑特征相关性 | 计算复杂，需要协方差矩阵 | 资源充足时可用 |
4. 活体检测：别让一张照片骗了你
活体检测是为了防止攻击。比如有人拿你的照片、视频或者 3D 打印的面具来冒充你。
常见的活体检测方法有：
- 动作指令式：让用户眨眼、张嘴、转头。系统检测这些动作是否自然。
- 纹理分析式：分析人脸区域的纹理细节。照片和视频的纹理跟真实人脸不一样。
- 红外/深度摄像头：利用红外或深度信息判断是否为立体人脸。
在边缘设备上，我建议用纹理分析 + 动作指令的组合方案。纯纹理分析容易被高质量视频攻破，纯动作指令又太慢。两者结合，安全性和用户体验都能兼顾。
关键数据：在 RK3588 平台上，我们测试过几种活体检测方案：
- 纯纹理分析：推理时间 15ms，攻击通过率 8%
- 动作指令（眨眼+张嘴）：推理时间 5ms，但需要 2-3 秒交互
- 纹理+动作组合：推理时间 20ms，攻击通过率 < 1%
所以，组合方案虽然多花了 5ms，但安全性提升了一个数量级。
小结：四个模块的协同关系
这四个模块不是孤立的。检测的质量直接影响特征提取的效果，特征提取的质量又决定比对的准确率。活体检测则像一道防火墙，放在比对之前或之后都可以。
我个人的部署习惯是：
- 先做人脸检测，拿到边界框和关键点
- 用关键点做人脸对齐（Affine Transform），矫正姿态
- 对齐后送入特征提取网络，得到特征向量
- 同时做活体检测，判断是否为真人
- 活体通过后，再进行人脸比对
这个流程在边缘设备上跑起来，大概需要 100-200ms。如果优化得好，可以压到 50ms 以内。具体怎么优化，后面的章节会详细讲。