来源丨机器之心
人脸识别 是机器学习社区研究最多的课题之一，以 3D 人脸识别为代表的相关 ML 技术十年来都有哪些进展？ 这篇文章给出了 答案。近年来，人脸识别的研究已经转向使用 3D 人脸表面，因为 3D 几何信息可以表征更多的鉴别特征。近日，澳大利亚迪肯大学的三位研究者回顾了过去十年发展起来的 3D 人脸识别技术，总体上分为常规方法和深度学习方法。
从左至右依次是迪肯大学信息技术学院博士生 Yaping Jing、讲师（助理教授） Xuequan Lu 和高级讲师 Shang Gao。
该调查通过代表性研究的详细描述来对各类技术进行评估，其中将技术的优缺点总结为对面部变化（表情、姿态和遮挡等）的准确性、复杂性和稳健性。该调查全面涵盖了 3D 人脸识别的常规方法和深度学习方法，并阐明了可用的 3D 人脸数据库和未来的研究挑战与方向。
论文地址：https://arxiv.org/pdf/2108.11082v1.pdf
该调查研究的主要贡献包括如下：
-
这是第一篇全面涵盖传统方法和基于深度学习的 3D 人脸识别方法的调查论文；
-
与现有调查不同，它特别关注基于深度学习的 3D 人脸识别方法；
-
涵盖 3D 人脸识别最新、最前沿的发展，为 3D 人脸识别提供清晰的进度图；
-
它对可用数据集上的现有方法进行了全面比较，并提出了未来的研究挑战和方向。
如下图 1 所示，根据所采用的特征提取方法，3D 人脸识别技术可以分为两类：传统方法和基于深度学习的方法。
3D 人脸数据库
大规模 3D 人脸数据库 / 数据集对于 3D 人脸识别的发展至关重要，它们用于训练特征提取算法并评估其性能。为了满足这一需求，许多研究机构和研究人员建立了各种 3D 人脸数据库。
下表 I 列出了当前突出的 3D 人脸数据库，并比较了数据格式、身份数量、图像变化（例如表情、姿势和遮挡）和扫描仪设备。
四种不同的 3D 数据格式如下图 2 所示——点云（ 2a）、网格（2b）、距离图像（2c）或深度图，以及 3D 视频；两种类型的采集扫描仪设备：基于激光的和基于立体的。
传统方法
如下图 3 所示，传统 3D 人脸识别系统中有两个主要阶段：训练和测试。在训练阶段，需要 3D 人脸数据来生成特征库，面部特征通过数据预处理和特征提取模型获得，然后保存在特征库中；在测试阶段，获取一个探针作为目标人脸，并进行与训练阶段相同的数据预处理和特征提取过程。
人脸识别是一个匹配的过程。将目标人脸的特征向量与存储在特征库中的特征向量进行比较。扫描图库并返回匹配距离最近的人脸。如果距离小于预定义的阈值，则将目标人脸标记为已识别，否则失败。因此，人脸识别过程包含三个核心步骤：数据预处理、特征提取和人脸匹配。所有这些都会影响识别的性能。
下表 2 列举了基于局部特征的 3D 方法以及它们的重要细节。
基于深度学习的 3D 人脸识别
十年来，深度神经网络已成为最流行的人脸识别技术之一。与传统方法相比，基于深度学习的方法比图像处理有很大的优势。对于传统方法，关键步骤是根据 3D 人脸数据的几何信息找到稳健的特征点和描述符。与端到端的深度学习模型相比，这些方法具有良好的识别性能，但涉及检测关键特征的算法操作相对复杂。而对于基于深度学习的方法，可以通过在大型数据集上训练深度神经网络来学习稳健的人脸表征。
下表 III 总结了社区在该领域做出的非凡努力。Spreeuwers 提出了一种用于 3D 人脸配准的固有坐标系。该系统基于通过鼻子、鼻尖和鼻子方向的垂直对称平面。
混合 3D 人脸识别方法结合了不同类型的方法（基于局部和基于整体），并将局部和全局特征应用于人脸匹配。通过结合不同的特征提取技术，它们可以处理更多的面部差异，例如表情、姿势和遮挡。最近的混合方法在下表 IV 中进行了比较。
用于面部识别的深度神经网络很多，而卷积神经网络 (CNN) 是最受欢迎的。CNN 通常由卷积层、池化层和全连接层组成。卷积层的目的是从输入数据中提取特征。每个卷积层使用滤波器内核执行卷积操作并应用非线性传递函数。池化层的目标是通过将一层神经元簇的输出整合到下一层的单个神经元中来降低特征图的维度。通过 CNN 学习的稳健性和判别性特征表示可以显著提高人脸识别的性能。
下图 4 描绘了基于 Deep-CNN（DCNN）的常见人脸识别过程。
下表 V 列出了最近的基于 DCNN 的 3D 人脸识别技术。
下表 VI 总结了该调查列举的方法在 rank-1 的不同数据库上的识别率。与传统的人脸识别算法相比，基于 DCNN 的方法具有流水线更简单、性能更高的优点。一般来说，基于深度学习的方法不必执行关键点检测、人脸分割或特征融合。相反，它们只需要将 3D 数据转换为合适的网络输入格式（例如 2D 图像）。
本文仅做学术分享，如有侵权，请联系删文。
3D视觉精品课程推荐：
1.面向自动驾驶领域的多传感器数据融合技术 2.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进 3.国内首个面向工业级实战的点云处理课程 4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 5.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦 6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
干货领取：
1. 在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
2. 在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
3. 在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列三维点云系列结构光系列、手眼标定、相机标定、orb-slam3知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~ 
