三维人脸识别技术研究与应用
一、概述
人脸识别技术是依据人脸面部特征自动进行身份鉴别的一种生物特征识别技术，具有防作伪、不易假冒、识别精度高、直观性突出等特点，在公安刑侦领域应用非常广泛，如用于在逃人员追捕、犯罪嫌疑人身份确认、可疑人员排查、重点人员监视、户籍查重等活动。人脸识别技术的发展，改变了以往排查、走访、蹲点、散发传单、人工照片比对等传统办案手段，有效提高了公安机关的工作效率。
目前普遍采用的人脸识别技术是二维人脸识别，利用的是人脸纹理在平面上的投影信息，容易受到环境光照、拍摄角度、表情的影响，存在准确性不高的问题，在刑侦等实际应用中有很大的局限性。三维人脸识别技术使用了人脸的纹理和几何特征，包含了人脸的全部信息，因此识别效果比二维识别有了大幅度的提升，并且受环境光照、拍摄角度、表情的影响较小，在实际应用中有更强的鲁棒性。
随着三维传感技术的快速发展，能够用于实时获取人脸三维信息的设备越来越丰富，成本也越来越低，因此，三维人脸识别技术将是未来发展的趋势，在安防领域会得到大规模的应用。
本文将介绍三维人脸识别技术研究工作的进程，并结合实际应用案例，阐述三维人脸识别技术如何在安防领域应用落地。
二、三维人脸识别技术研究
三维人脸识别技术涉及深度感知、三维人脸重建、三维人脸识别等环节。
（一）深度感知
在深度感知领域，当前国内外市场上的深度相机主要应用于体感、增强现实、消费电子等领域，在采集距离、采集精度、应用场景等方面还达不到安防监控的需求。为了能够在安防领域应用深度相机，重点开展以下几个方面的研究。
1.高精度人脸三维信息。现有的深度相机主要应用于体感、增强现实、消费电子等领域，没有针对人脸识别应用进行专门优化。经过测试发现，普通的深度相机对于人脸的细节恢复能力较差，特别是鼻子、嘴巴等关键部位的深度图与真实人脸的误差很大。主要原因是通常的深度感知算法对曲率较大的形状恢复能力差，与原始形状相比，获取的深度信息更加平滑，因此会丢失很重要的脸部特征信息。针对该问题，深入研究技术，开展专门用于人脸深度信息恢复的深度感知算法研究，恢复脸部细节特征，从而大幅度提高获取的人脸三维信息的精度。
传统的特征点投射器，光束的发散角以及特征点的数量是固定的，在远距离情况下，特征点会均匀地分布在场景内，造成感兴趣区域内特征点很少，譬如人脸，从而导致这些区域内的点云稀疏、精度低。为此可设计研究一种可以在各个距离下都能投射出足够稠密特征的特征点投射系统。通过这套变焦投射系统，可以控制投射光束的发散角，从而控制特征点的密集程度，在远距离情况下，可以把所有特征点投射到感兴趣区域，从而获取目标稠密、高精度的三维信息（如图1所示）。
图1变焦投射系统获取的深度图
2.高保真的数据传输技术。三维深度图不同于二维图像，深度图上每个像素值的大小代表了目标和相机的几何距离，因此，深度图对于图像传输过程中的保真性要求很高，譬如两个物体交界的边界处，二维图像可以容忍一定的边界锯齿和模糊现象，但是对于深度图来说，边界锯齿和模糊现象都是不允许的。为此可通过设计两种预处理的方法来提高数据传输过程中的保真性：
第一，对深度图的前后景进行分离，同一深度范围内的目标归为一类，然后通过填充的方法对前后景图像进行填充，消除边界处的像素值阶跃现象，避免在传输过程中产生误码；
第二，对深度图的每个像素添加“数据校验位”，在用户上位机解码的过程中，对数据校验位进行校验，去除不通过校验的像素点，保证用户获取数据的正确性。
（二）三维人脸重建
传统的基于优化方法的三维人脸建模技术，计算过程复杂、计算量大、耗时长。而人脸识别应用场景对响应时间要求很高，因此传统的方法很难落地到实际应用。
针对人脸识别应用的实际需求，需要从提升效率、重建精度两方面开展研究。
不同于传统的有监督学习方法，利用一套基于原始RGB-D数据进行训练的无监督学习方法，在设计网络的损失函数时，除了利用单帧RGB-D图片的信息进行约束，还考虑多帧图片之间的时序信息，事实证明对建模精度和表情捕捉能力的提升作用很大。在模型表示方面，端到端建模网络设计，具有更强的几何表达能力，能够刻画出真实的人脸几何细节。在纹理方面，基于一套高质量人脸纹理的生成方法，能够从彩色照片中捕捉出人脸纹理细节，并进行真实还原（如图2所示）。实际测试表明，人脸重建精度与真实人脸的误差在1mm以内，在手机平台重建速度达到40帧/秒。
图2三维人脸模型纹理细节
（三）三维人脸识别
基于重建的三维人脸模型，对模型进行空间坐标旋转，可以获取到各种角度下的模型表达，通过此种方法对训练集进行扩充，使得训练集更加丰富；三维人脸模型上的每一个点都包含了几何信息（XYZ）以及纹理信息（RGB），将人脸的几何和纹理信息送入深度网络进行融合训练。
为了使人脸的特征表达更具辨别性，需要对网络的损失函数进行设计，通过引入属性感知损失，构建人脸属性差异和特征差异之间的全局线性映射，将该人脸属性损失作为一个额外的监督项，与分类损失函数相结合，使得特征在聚类的同时也受到属性的正则化约束，促使具有相似属性的人脸其特征聚类也相近，从而优化深度网络的特征表达，使学习出的特征映射更加鲁棒，有效提高人脸识别方法的准确率和泛化能力。
三、三维人脸识别技术应用
三维人脸识别从技术上已经完全具备了应用落地的条件。
（一）三维人脸比对数据库的建立
在二维人脸识别技术中，普通彩色相机已经全面普及，在建立比对数据库方面非常方便。可以直接使用公安建立的身份证照片，或者使用任何来源的符合质量要求的图片建立比对数据库。
对于三维人脸识别，不管是从国家层面还是各单位层面都没有采集过三维人脸数据，因此无法直接建立三维比对数据库，如果要进行三维人脸识别应用，需要开展采集建库工作。
纹理、几何信息构成了完整的人脸三维信息。建库时需要采集原始可见光图像、近红外图像、深度图像。
三维人脸比对建库要求能够采集到完整、全面的人脸数据，这样重建出的三维人脸模型还原度更加精确，在识别时效果会更好。
根据实际应用经验，采集建库可以通过两种模式进行：高质量采集、快速采集。
1.高质量采集。通过三维人脸采集设备，采集高质量的三维人脸数据。被采集人需要进行如下配合：
（1)头发、饰物等不应遮挡面部主要区域、耳朵，如头发不遮挡眼睛及眉毛、面部无口罩和夸张饰物；
（2)不应戴眼镜。
采集多帧不同角度的人脸数据，如图3所示。
图3不同角度人脸数据图像
2.快速采集。在实际应用中，高质量采集模式对采集条件要求较高，采集进度较慢，特别是对于大库应用场景，很难组织采集，周期很长。对于不易组织进行三维人脸采集的应用场景，可以使用快速采集模式。
快速采集功能一般与三维人脸识别、人证比对功能集成在配合式设备上，部署在门禁、闸机等场所。当人员刷身份证人证比对成功时，设备自动同步采集该人员的三维人脸数据。对采集到的人脸数据进行质量筛选和人员身份核验，满足条件的可用于建库。
基于上述两种模式采集的数据，重建三维人脸模型，提取三维人脸特征，构建三维人脸比对数据库。
（二）三维人脸识别技术的使用流程及优势
三维人脸识别技术可以应用于静态配合式、动态非配合式等场景。
在配合式场景下，使用流程为：
1.对获取的三维图像进行人脸检测。
2.如果检测到人脸，进行质量评价。
3.如果满足质量要求，进行活体检测。
4.通过了活体检测后，根据三维数据重建三维人脸模型。
5.根据情况在本地提取特征，进行人脸识别；或者把三维模型上传到云服务进行识别（为了降低带宽占用，可以在本地提取特征后再上传）。
在动态场景下，使用流程为：
1.对获取的三维图像进行三维人脸检测。
2.对所有检测到的人脸进行跟踪。
3.从每张人脸的所有采集数据中选取一帧质量最好、最有利于识别的三维图像数据。
4.根据选取的三维图像数据重建三维人脸模型。
5.根据情况在本地提取特征，进行人脸识别；或者把三维模型上传到云服务进行识别（为了降低带宽占用，可以在本地提取特征后再上传）。
相比二维人脸识别技术，三维人脸识别技术具有以下几个方面的优势：
第一，三维活体检测与二维活体检测相比，有非常明显的优势。对于平面类攻击，检测准确率达到100%；对于三维面具攻击，检测准确率达到99%。
第二，由于在检测、跟踪算法中使用了三维信息，因此人脸检测率非常高，跟踪效果鲁棒，误检率、重复抓拍率非常低。
第三，三维人脸识别比二维人脸识别准确率明显提升，特别是在大库（如千万级以上规模）应用场景下，低虚警率时的精准识别准确率非常高，能够满足实战需求。
（三）三维设备
针对三维识别领域的应用，主要产品包括三维人脸采集设备、配合式场景下的三维人脸识别设备、动态监控场景下的三维人脸识别设备、三维人脸识别云服务等。上述产品构成了三维人脸识别整套解决方案，可以针对具体应用快速部署、上线三维人脸识别产品，在实际应用中发挥了巨大的价值。
四、技术展望
三维人脸识别技术刚刚兴起不久，深度感知、三维建模、三维识别等技术还处于快速发展当中，随着相关算法研究的深入，三维人脸识别性能在识别效果方面还将进一步提升。除此之外，在以下几个方面将会有较大的突破：
（一）远距离深度感知
随着相关元器件以及算法效果的提升，未来预计可以在最远10米采集到可用于人脸识别的深度图，而且可以适用于户外、广角更加广阔的应用场景中。
（二）三维人体体貌特征测量与识别
随着三维人体重建技术的发展，人体重建精度、速度已经接近或达到实用需求。通过对人体进行高精度的重建，可以获取人体的身高、臂长、身体围度等体貌特征信息。结合三维人脸、体貌特征信息进行人的身份识别，识别准确率将比单纯的人脸识别更加精准，适用场景也更加广阔。
（三）动作捕捉与行为分析
基于二维图像的动作捕捉仅利用了平面图像上的人体关键点信息，因此对动作的估计并不准确，也不鲁棒。三维人体动作捕捉通过对人体进行三维建模，可以获取到精确的人体动作信息。在此基础上开展行为分析工作，准确性也将有明显提升。
（四）ReID
通过重建三维人体模型，可以精确地计算人体的体貌特征，捕捉人体姿态，以及获取人行走时的步态特征。另外，有了三维信息，也会有效提升行人检测、行人结构化方面的算法效果。因此，随着三维人体信息在ReID中的应用，跨境追踪效果将得到大幅度提升。
五、结语
随着三维人脸识别技术的不断优化以及落地项目的逐步增多，未来将在安防主流市场上得到更多应用。同时，由于三维人脸识别具备高准确率、高鲁棒性及高安全性，可加快安防一体化与信息化建设进程，提升安防反恐效率，让城市更为智慧、安全与高效。
为此，的卢深视正在积极探索三维机器视觉的闭环价值，以三维机器视觉感知技术为核心，融合多种传感器，构建大数据支撑下的精准身份管控与轨迹行为分析及预测。在端侧，对于人的身份行为轨迹进行细粒度的数据化和数字化，对多维信息进行关联分析，实现准确的动态身份管控以及时空轨迹的智能生成。在云侧，基于大数据分析研判技术，实现智能决策与显隐信息关联，最终实现危险因素的预测，服务于社会安全、公共安全甚至国家安全，驱动公共安全模式从被动的事后追溯缉逃向主动的事前分析预测转变，提升社会安全与稳定，对安防行业产生积极的影响与变革。
（供稿：朱海涛 崔哲 保长存 浦煜 北京的卢深视科技有限公司）