基于深度学习的多姿态人脸识别关键技术研究_解瑞云.pdf

基于深度学习的多姿态人脸识别关键技术研究解瑞云，海本斋，刘秀，张雅君，（河南工学院 电缆工程学院，河南 新乡 ；河南省线缆结构与材料重点实验室，河南 新乡 ；河南师范大学 教育信息技术学院，河南 新乡 ；河南师范大学 文学院，河南 新乡 ）摘要：随着计算机视觉技术的不断发展，人脸识别技术已经广泛应用于实时视频监控、图像检索、推荐系统等领域，但是受限于人脸识别过程中的姿态、光照、跟踪等问题，导致人脸识别的准确率和可靠性受到很大制约。文章基于深度学习算法，通过对人脸数据的 特征提取、图像分割，并利用卷积神经网络技术进行训练和编码输出，最后利用 分类器进行数据比对，进而对人脸进行识别。实验结果表明，该人脸识别技术能够完成对多姿态人脸的准确识别，达到了应用标准。关键词：深度学习；人脸识别；方向梯度直方图；神经网络；分类器中图分类号：文献标识码：文章编号：（）引言人脸识别技术作为一种新兴的生物特征识别，技术，集成了数字图像、视频处理、模式识别，和计算机视觉等多种技术，具有用户交互方便、准确率高、非接触式等特点，当前已经在门禁、考勤、电子支付等领域广泛使用。与此同时，人们对人脸识别与验证，的精确度和可靠性要求也越来越高。人脸识别技术一般可以分为人脸检测与定位和特征提取与识别两个部分，而姿态、光照、跟踪等问题是影响人脸识别精确度和可靠性的重要因素，其中提高多姿态条件下人脸识别的精确度已经成为人脸识别技术研究的热点和难点问题。研究现状传统的人脸识别技术主要采用主成分分析（，）、支持向量机（，）等算法，该类算法只对人脸面部浅层特征进行提取，对于复杂的非线性面部表情缺乏良好的鲁棒性，不能在无约束环境下提取稳定的人脸特征，从而造成算法识别率较低，甚至在人脸出现角度偏转或者其他非正脸姿态时无法准确识别，无法满足实际生活中的应用需求。随着机器学习、神经网络 和大数据技术的不断发展，卷积神经网络、多层反馈循环神经网络等深度学习算法已成为当前人脸识别的主流算法，本文将在已有研究基础上，进一步利用神经网络技术对人脸数据进行深度学习并生成人脸的特征值，并使用 分类器对人脸数据进行匹配，以进行人脸识别。技术路线本文算法采用的技术路线主要分为四个步骤。首先进行人脸检测，将方向梯度直方图（，）方法和 算法相结合，统计图像的局部梯度特征检测图第 卷第期 年月河南工学院学报 收稿日期：基金项目：河南省高等学校重点科研项目（，）；新乡市软科学研究计划项目（）；河南工学院教学改革项目（）第一作者简介：解瑞云（），女，山东菏泽人，副教授，硕士，主要从事人工智能、云计算、网络安全和智慧教学研究。像，计算梯度判断图像是否为人脸。其次开展人脸特征点检测，将第一步得到的人脸图像进行分析，通过相应算法进行特征点检测，然后进行仿射变换，使得变化后的特征点靠近整个图像的中心。再次是进行人脸数据编码，通过深度学习使计算机知道最重要的面部特征测量值，然后通过训练深度卷积神经网络生成需要的面部特征测量值，经过大量的人脸图像训练，保证生成测量值的稳定性，以使相同人脸图像在不同角度的时候，产生相同的测量值，完成人脸数据编码。最后开展人脸数据比对匹配，采用 分类器，将测试图像数据和已经存于数据库中的人脸数据相互匹配，以完成对不同角度人脸的准确识别且准确率可以达到应用标准。如果是数据库中存在检测到的面部数据，可进行信息标注，并且显示到屏幕上。如果数据库中不存在检测到的面部数据，则添加陌生人信息并备注。实施的技术路线如图所示。图实施的技术路线简图人脸检测 特征及实现方法本文通过统计目标特征对目标图像和环境进行区分，并对目标图像进行特征描述。具体步骤是，首先将图像灰度化并进行放大，比对图像局部区域的每一个像素点，分析图像像素点的明暗流动变化，计算梯度。其次，根据目标图像明暗的方向变化，将所有的变化构成目标图像的特征向量。最后，统计目标图像所有的特征向量，进行归一化处理，形成目标图像整体的 特征图。算法实现过程 特征图的算法实现过程如下：（）将图像进行归一化处理，然后转化为灰度图。这能够降低正常环境所产生的不可避免的光线对输入图像产生的轮廓以及周围环境边缘的光照和阴影的影响，而且具有一定的降噪效果。（）通过计算每个像素的图像横向坐标与纵向坐标的梯度，最终可以得到图像的任意像素点（，）在轴的分量和在轴的分量：（，）（，）（，）（）（，）（，）（，）（）式中，（，）和（，）分别是像素点在轴和轴的分量。（）计算像素点（，）处的梯度的幅值和方向：（，）（，）（，）（）（，）（，）（，）（）式中，（，）和（，）分别是幅值和梯度。对第三步求得的梯度分量值进行归一化处理，然后将每一个梯度连接起来表示整体特征信息，并使用 公式进行归一化处理操作。（）（）式中，（）表示第个 特征，为常量。经过上述步骤可以得到图片的灰度图以及 特征图如图所示。对图片进行 特征提取后，显示出比较明显的轮廓和人脸面部边缘特征，这些特征的提取能够减少环境光线对面部边缘轮廓的影响，而且还有一定的降噪作用。河南工学院学报 年第期图 特征图通过统计图像的局部梯度特征检测图像，计算梯度判断图像是否为人脸，完成人脸检测。人脸特征点检测人脸特征点定位与姿态关系密切，二者使用相似的特征与内部表示，都需要对肤色、光照、姿态、表情、遮挡等问题表现鲁棒性。本文采用基于回归的面部特征点检测法，使用训练组标记人脸图像的特征点，利用回归树模型进行训练，计算出平均形状，并将其认定为试验模型的初始化形状。模型训练中，首先将像素强度作为特征并使用回归树模型进行训练，随后将目标像素点与亮度训练组附近的像素点之间的距离作为特征池，对双眼之间的距离做归一化处理，最后通过应用综合的回归树模型，使用梯度提高算法连续地调整误差，得到最终的回归树模型。在测试时，通过 次级联回归树，得到最终的面部 处特征点定位结果，并且在人脸上进行颜色标注。人脸特征点检测主要有以下三个关键部分：（）预处理阶段。首先需要载入训练集，用大量图片进行训练，训练图片存储在特定的文件夹。（）训练关键点检测器。通过使用多级级联回归树的方法进行计算：?（）?（）（，?（）（）采用 级级联，默认每级包含树的数量为 ，使整个模型中树的数量达到 棵。训练样本数量越多，训练效果会越好，但是同时也会消耗更多的时间。为此，将随机采样作为训练回归树的特征池，这种采样方法保证了较低的复杂度。判断分裂节点是通过求得的阈值进行决定的，计算公式如下：（，?（），）（）（）（）（）生成测试器并进行测试。通过训练人脸识别器完成对人脸的识别。为了方便观察面部特征点，将每一个特征点都使用绿色的圆圈进行标记，并且在图片上显示出来。如图所示。图人脸图片的特征点检测解瑞云，等：基于深度学习的多姿态人脸识别关键技术研究从图可看出人脸特征点所检测的人脸的位置，生成器可以在摄像头监控的时候实时将人脸特征点显示出来。测试时，为了测试人脸特征点检测器的拟合程度，测试了不同的角度，包括侧脸、闭眼以及正脸，但是面部特征点位置仍然能够被检测器准确找到，说明检测器精度已经满足人脸识别的要求。然后进行仿射变换，以使变化后的特征点靠近整个图像的中心。人脸数据编码卷积神经网络是带有卷积计算、深度结构的前馈神经网络，属于深度学习中的一个经典算法，它通过采用权重分担策略，可以大大减少整个系统的参数个数和计算量，提高特征提取的速度，提高模型的鲁棒性。卷积层是卷积神经网络最常用的特征提取层，由几个卷积核组成。由于一个卷积核中的参数是固定的，公共信道的数目从 到 不等，如果输入层也是多信道的，则卷积层为每个信道的输入生成卷积核心和卷积核心组。汇聚层的主要功能是融合特征，降低数据的空间维数，减少参数个数，在增加平移不变性同时可减少网络训练过程中的过拟合现象。卷积神经网络可完成人脸数据编码，流程图如图所示。图卷积神经网络流程图人脸数据比对匹配实验将得到的人脸图像进行编码，使用基于深度学习训练的卷积神经网络生成了人脸 个特征测量值，并采用 方法进行数值匹配。测试中生成的人脸 个特征如图所示。图测试人脸和其生成的测量值如果数据具有空间性，分割数据的线就可以进行空间延伸，形成一个超平面。假设这条线上边的点对应的值全为，下边的数据点对应的值全为，超平面则可用下列函数公式表示：（）（）当（）为时，数据点位于该超平面；当（）大于时，数据点在超平面的下面；当（）小于时，数据点在超平面的上面。得到这个超平面的函数，根据图像可以看出这个需要求得的函数是一个分开两类数河南工学院学报 年第期据点的最优解，寻求最优解最适当的标准就是这个超平面距离两类数据的距离最大。用函数值的绝对值来代表数据点到超平面的距离，观察判断（）值的正负来判断分类是否一致，为此引入函数间隔。定义函数间隔：?（）（）（）整个数据中的数据点都可以用（，）表示，标记并找到已知的所有数据点，作为训练超平面的数据集。由于实际点和超平面的几何关系，为定义数据点到超平面的距离，这里引入几何间隔，假定对于数据点，这个点在平面的垂直投影对应点为，为一个垂直平面的向量，那么到超平面的距离为：（）实验得出，阈值设置越大，人脸越容易混淆；阈值设置越小，人脸识别通过率也就越低。通过大量的实验得到，阈值在 时，人脸识别通过率较高，准确率达到 。通过两人脸生成的 个特征值并求两者欧氏距离来判断其相似度，将欧式距离与阈值进行比较，最终确定是否为同一人脸。如果欧式距离小于阈值，确定为同一人脸，如图所示。图相同人脸与其两者之间的欧氏距离示例实验结果与分析实验结果表明，本文提出的算法能够完成对不同角度人脸的准确识别而且准确率可达 ，与传统的人脸识别算法相比具有更高的识别率，对环境的适应性也更强。在硬件比较好的情况下，能够应对相对恶劣的工作环境，对光线昏暗、图像分辨率低、人脸模糊的问题具有很高的适应性，基于深度学习的人脸识别在识别率和通过率两方面能达到应用标准。（责任编辑王磊）参考文献：何元烈，刘峰，孙盛基于深度学习的动态人脸识别方法计算机工程与设计，（）：，：池燕玲 基于深度学习的人脸识别方法的研究 福建：福建师范大学，周亚梅 基于深度学习的多姿态人脸识别方法研究 济南：山东大学，周章辉，谭功全 基于深度学习的实时人脸表情识别研究 四川轻化工大学学报（自然科学版），（）：侯晓楠 人脸识别关键技术研究 上海：上海交通大学，袁正海人脸识别系统及关键技术研究南京：南京邮电大学，程晓雅，张雷基于深度学习的有遮挡人脸识别方法研究电子科技，（）：郭丽丽，丁世飞深度学习研究进展计算机科学，（）：赖心瑜，陈思，严严，等基于深度学习的人脸属性识别方法综述计算机研究与发展，（）：张晶晶，李秋艳，刘硕，等 基于深度学习的人脸识别在身份认证领域应用综述 数据通信，（）：徐剑 基于高清视频监控下人脸识别技术在公共安全的应用研究 轻工科技，（）：解瑞云，等：基于深度学习的多姿态人脸识别关键技术研究